apache-spark

9ısı

1cevap

Spark SQL, Parşömen verilerini çok sayıda parça ile birlikte yazdıramıyor

S3'deki json log verilerini S3'teki Parke dosyalarına aktarmak için Apache Spark SQL'i kullanmaya çalışıyorum. Kodum temelde: import org.apache.spark._ val sqlContext = sql.SQLContext(sc) val data =

5ısı

1cevap

AWS erişim anahtarlarını hangi core-site.xml eklerim?

EC2'de, S3 grubumda depolanan verilere karşı Spark kodunu çalıştırmak istiyorum. Hem Spark EC2 documentation hem de Amazon S3 documentation'a göre, core-site.xml dosyasına AWS_ACCESS_KEY_ID ve AWS_SEC

16ısı

1cevap

Bölümleme Spark'de nasıl çalışır?

Apache Spark'de bölümlemenin nasıl yapıldığını anlamaya çalışıyorum. Yardımcı olabilir misiniz lütfen? bir ana ve 1 çekirdek her bir dosya boyutunda içinde count.txt 10 MB ile iki düğüm kaç bölümleri

12ısı

2cevap

RDD.takeOrdered() için sipariş nasıl tersine çevrilir?

Spark'da RDD'nin takeOrdered() yöntemi için sıralamayı tersine çeviren sözdizimi nedir? Bonus noktaları için, Spark'da bir RDD için özel siparişin sözdizimi nedir?

5ısı

1cevap

kıvılcım hatası RDD oluştururken RDD türü bulunamadı

Vaka sınıfı nesnelerin bir RDD oluşturmaya çalışıyorum. . <console>:28: error: not found: type RDD val people: RDD[Person] =sc.textFile("/user/root/people.txt").map(_.split(",")).map(p => Person

6ısı

3cevap

Spark'de neden iki farklı API toplanıyor ve katlanıyor?

Scala standart lib kullanarak, böyle Somthing yapabilirsiniz: scala> val scalaList = List(1,2,3) scalaList: List[Int] = List(1, 2, 3) scala> scalaList.foldLeft(0)((acc,n)=>acc+n) res0: Int = 6 b

10ısı

1cevap

Kıvılcım Yapılandırma: bellek/örnek/çekirdekler

Son zamanlarda kendime farklı SPARK ayarlarına spark.executor.memory, SPARK_WORKER_MEMORY, SPARK_MEM, SPARK_MASTER_MEMORY arasında karışık biraz, ve SPARK_WORKER_INSTANCES için ilişkiyi ve SPARK_WORKE

15ısı

2cevap

Spark: InputFormat'ı singleton olarak çalıştır

Bir anahtar-değer veritabanını Spark'a entegre etmeye çalışıyorum ve bazı sorularım var. Ben bir kıvılcım yeni başlayan, çok şey okudum ve bazı örnekleri çalıştırmak ama hiçbir şey de karmaşık. Senary

11ısı

2cevap

pyspark mapPartitions işlevi nasıl çalışır?

Bu yüzden Spark'i Python (Pyspark) kullanarak öğrenmeye çalışıyorum. mapPartitions işlevinin nasıl çalıştığını bilmek istiyorum. Girdiğin şey budur ve ne çıktı verir. İnternetten uygun bir örnek bulam

6ısı

1cevap

Bir EC2 örneğinden gelen spark-ec2'yi çağırma: ana makineye giden ssh bağlantısı reddedildi

Amplab'ın eğitim alıştırmalarını çalıştırmak için us-east-1 numaralı telefondan anahtar deliği oluşturdum, eğitim komut dosyalarını (git clone git://github.com/amplab/training-scripts.git -b ampcamp4)