apache-spark

23ısı

1cevap

Kıvılcım kümesindeki "Yerellik Düzeyi" anlamı nedir?

"Locality Level" başlığının anlamı ve 5 status Data anlamı local -> işlem yerel -> node local -> rack local -> Any ?

16ısı

4cevap

HDFS'de bir dizin dizinim var ve dizinler üzerinde yinelemek istiyorum. SparkContext nesnesini kullanarak Spark ile bunu yapmanın kolay bir yolu var mı?

8ısı

1cevap

İşletim RDD, org.apache.hadoop.conf.Configuration

ile Spark kayıt sınırlayıcılarını ayarlarken başarısız oldu Spark ile büyük bir metin dosyası "mydata.txt" (gerçek dosyanın boyutu yaklaşık 30 GB) işlemek istiyorum. Bu kayıt sınırlayıcısı "\ |" ardın

8ısı

2cevap

shuffle okuma ve Kıvılcım yöneticinin aşağıdaki ekran görüntüsünde

port 8080 üzerinde çalışan Apache Spark yazma karıştırmak nedir: "Shuffle Oku" & "karıştır Yaz" parametreler her zaman bu kodu boş : import org.apache.spark.SparkContext; object first { println

12ısı

1cevap

Spark executor on YARN

YARN istemci modunda bir Cloudera kümesinde dağıtılmış bir Spark uygulaması başlatıyorum. Bir süre sonra Cloudera Manager'da bazı hatalar görüyorum. Bazı uygulayıcılar bağlantısı kesilir ve bu sistema

32ısı

2cevap

Apache'de farklı RDD'lerin veri kümelerinin birleştirilmesi scala kullanılarak

İki farklı RDD s veri kümesini kıvılcımla birleştirmenin bir yolu var mı? Gereksinim - Aynı sütun adlarına sahip scala kullanan iki ara RDD oluşturuyorum, bu RDD'lerin sonuçlarını birleştirip UI'ye er

7ısı

1cevap

KryoException: Çok küçük girişi

ile bellek taşması ben önemsiz bir kıvılcım programı var. Girişi, bir satırda bir dosyaya böldüm. Yani eminim ki bu geleneksel hafıza baskısı değil. Exception in thread "main" com.esotericsoftware.kry

6ısı

1cevap

Hadoop'u AWS4-HMAC-SHA256 ile kullanabilir miyim?

Yeni oluşturduğum kepçem AWS Signature Version 4 kullanıyor. Ben Hadoop kullanmaya çalışınca ve mesaj alıyorum: Hadoop Amazon S3 sayfasında bu hiç bahsedilmez Exception in thread "main" org.apache.had

11ısı

3cevap

Kıvılcım kullanarak mongo nasıl sorgulanır?

Spark ve Mongo kullanıyorum. Ben aşağıdaki kodu kullanarak Mongo bağlanabiliyor duyuyorum: kodunun üzerinde val sc = new SparkContext("local", "Hello from scala") val config = new Configuration() c

17ısı

2cevap

bize aşağıdaki anahtar çifti değerlerle aşağıdaki iki RDDs var diyelim tuşları

iki RDDs birleştirmek için kullanılır. rdd1 = [ (key1, [value1, value2]), (key2, [value3, value4]) ] ve Şimdi rdd2 = [ (key1, [value5, value6]), (key2, [value7]) ] , ben mesela ben bunu nasıl taki