yarn

7ısı

1cevap

Spark'de harita görevinin kimliği nasıl alınır?

Spark'de harita görevinin kimliğini almanın bir yolu var mı? Örneğin, her harita görevi kullanıcı tanımlı bir işlevi çağırıyorsa, o kullanıcı tanımlı işlevden o harita kimliğinin kimliğini alabilir mi

15ısı

2cevap

Spark 1.2.0 içindeki tüm Spark uygulayıcılarının sınıf yollarına yapılandırma dosyası nasıl eklenir?

Bir yapılandırma dosyası ile iplik küme modunda çalışan bir Spark işini parametrelemek için Typesafe Config, kullanıyorum. Typesafe Config'in varsayılan davranışı, bir regex ile eşleşen isimlere sahip

32ısı

2cevap

YARN istemci modunu kullanırken Spark Executors'ın kaybolması nasıl önlenir?

Merhaba ben az veri ile lokal olarak iyi çalışır bir Spark iş var ama İPLİK üzerinde planlamak zaman aşağıdaki HATA oluyoruz ve yavaş yavaş tüm uygulayıcıların arayüzünden kaldırılırsa ve benim işim 1

9ısı

1cevap

YARN'in günlük dosyaları nasıl saklanır?

Aniden, YARN kümem çalışmayı durdurdu, gönderdiğim her şey "Çıkış kodu 1" ile başarısız oluyor. Bu sorunu izlemek istiyorum, ancak bir uygulama başarısız olursa, YARN günlük dosyalarını siler. Bu günl

9ısı

2cevap

İplik istemcisinde çok uzun süren işlerle (işteki diğer işlerle karşılaştırıldığında) nasıl baş edilir?

Biz birkaç iş hesaplamak için yarn-client gibi bir Spark küme kullanmak, ama bazen bir görev çok uzun süre çalıştırmak: Biz zaman aşımı set yok ama varsayılan zaman aşımı bir kıvılcım görevi olmadığın

9ısı

2cevap

Bağımsız Yönetici Vs. İplik Vs. Mesos

3 nodlu Spark/Hadoop kümesi üzerinde hangi zamanlayıcı (Yönetici) verimli çalışacak? Şu anda Standalone Manager kullanıyorum, ancak her bir kıvılcım işi için kaçınmak istediğim tüm kaynak parametreler

6ısı

3cevap

Büyük bir veri kümesinde kıvılcım çıkarırken "sparkContext kapatıldı"

Belirli bir veri boyutundan geçen bir kümede sparkJob çalıştırırken (~ 2,5 gb) ya "SparkContext kapatıldı çünkü iş iptal edildi" veya "executor lost" ". İplik gui'ye baktığımda öldürülen işin başarılı

7ısı

1cevap

Komut satırından bir iplik yapılandırması alın

EMR'de, yarn komutunu kullanarak yapılandırma anahtarı verilen yapılandırmanın belirli bir değerini almanın bir yolu var mı? Mesela ben Biraz olmayan sezgisel var bu yarn get-config yarn.scheduler.max

9ısı

1cevap

Yap İPLİK aşağıdaki appcache önce

durum yeniden denemek edilir temizlemek: bir İPLİK uygulaması başlatılır. Programlı. Appcache dizinine çok şey yazar. Uygulama başarısız. İPLİK onu yeniden başlatır. Beklemede, çünkü programlamak için

16ısı

2cevap

FetchFailedException veya MetadataFetchFailedException

Ayrıştırma kodunu 1 GB veri kümesiyle çalıştırdığımda herhangi bir hata olmadan tamamlanır. Ancak, bir seferde 25 gb veriyi denediğimde hataların altına iniyorum. Başarısızlıkların altında nasıl kaçın