apache-spark

33ısı

1cevap

Büyük Veri projesi için, tekrarlanan iş yükleri için bellek içi hesaplamalar gibi bazı güzel özelliklere sahip olan spark kullanmayı planlıyorum. Yerel dosyalarda veya HDFS'nin üstünde çalışabilir. An

7ısı

1cevap

Kıvılcım dizisindeki ham bayt dizilerini yazıp oku - Sıralı Dosya Sırası Dizisini KullanarakDosya

Apache Spark kullanarak bir dosyaya nasıl RDD[Array[Byte]] yazıyorsunuz ve tekrar okuyorsunuz?

270ısı

1cevap

Apache Spark vs. Apache Storm

Apache Spark ve Apache Storm arasındaki farklar nelerdir? Her biri için uygun kullanım örnekleri nelerdir?

12ısı

2cevap

RDD'lerin dilimleri ve bölümleri arasındaki farklar nelerdir?

Spark's Python API'sini kullanıyorum ve Spark 0.8'i çalıştırıyorum. Büyük bir RDD kayan nokta vektörünü saklıyorum ve tüm vektöre karşı bir vektörün hesaplamalarını gerçekleştirmem gerekiyor. RDD'deki

5ısı

3cevap

Pyspark'ı yükleme sırasında sorun oluştu

Spark'i pyspark kullanarak yerel bir makinede çalıştırmak istiyorum. tamamlanana yüklemek sbt/sbt assembly $ ./bin/pyspark ama pyspark (tam olarak) aşağıdaki hata sonucu çalıştırmak için yetersiz o

9ısı

2cevap

Gömülü bir apache Spark node örneğini başlatmak mümkün mü?

Java uygulamamın içine yerleştirilmiş bağımsız bir Apache Spark kümesinin bir örneğini başlatmak istiyorum. Web sitelerinde bazı belgeler bulmaya çalıştım ama henüz bakmadım. Bu mümkün mü? Eğer bir "y

5ısı

2cevap

kıvılcım; metrikler grafit lavaboya nasıl gönderilir?

Kıvılcımı yenmek için yeni ürünüm. Test uygulamalarımı gayet iyi çalıştırabilirim. Grafit'teki kıvılcım ölçümlerini toplamaya çalışıyorum. Metrics.properties dosyasına yapılacak değişikliklerin ne old

16ısı

2cevap

Spark: Avro dosyasına yazma

Spark'deyim, bir Avro dosyasından RDD sahibiyim. Artık o RDD bazı dönüşümler yapmak ve bir Avro dosyası olarak geri kaydetmek istiyorum: val job = new Job(new Configuration()) AvroJob.setOutputKeySch