apache-spark

6ısı

1cevap

Yapılandırılmış Akış kullanarak Kafka'dan JSON biçiminde kayıtlar nasıl okunur?

Kafka'dan bir veri akışı yüklemek için DataFrame/Dataset API'sine dayalı Spark-Streaming'i kullanarak structured streaming approach'u kullanmaya çalışıyorum. kullanmak: Kıvılcım 2.10 Kafka'nın 0.10 kı

6ısı

1cevap

gzipped Parçalı HDFS için Parke dosyası ayrılabilir mi?

Bu konuyla ilgili internette cevap ararken ve okurken kafa karıştırıcı mesajlar alıyorum. Herkes deneyimlerini paylaşabilir mi? Ben gzipped csv değil, ama Parke için iç yapıları dosya Parke vs csv içi

6ısı

1cevap

Kıvılcım koşullu Spark SQL pencere işlevi

Bu, örnek olarak açıklanması muhtemelen en kolay yoldur. Örneğin, bir web sitesine kullanıcı girişlerinin bir DataFrame olduğunu varsayalım: scala> df.show(5) +----------------+----------+ | user_n

6ısı

2cevap

Özel log4j.properties AWS üzerinde EMR

Ben Amazon EMR üzerinde bir özel log4j.properties geçersiz ve kullanamıyorum. EMR'de (Yarn) Spark kullanıyorum ve özel log4j'yi denemek ve kullanmak için Spark-Submit'teki tüm kombinasyonları denedim.

5ısı

1cevap

Nasıl Dataset <Tuple2 <String, DeviceData >> Dönüştürücüsü Iterator <DeviceData>

Nasıl Dataset<Tuple2<String,DeviceData>> var ve Iterator<DeviceData> için dönüştürmek istiyorum. Aşağıda, collectAsList() yöntemini kullanıyorum ve Iterator<DeviceData> aldığım kodumu aşağıda bulabili

7ısı

1cevap

Kafka ile from_json 0.10 ve Spark Structured Streaming nasıl kullanılır?

Örneği [Databricks] [1] 'den yeniden üretmeye çalışıyorum ve bunu yeni bağlantıya kafka ve kıvılcım yapılandırılmış akışa uyguladım, ancak kıvılcımdaki kutudan çıkma yöntemlerini kullanarak jsonu doğr

10ısı

2cevap

Pyspark: UDF

'da birden çok sütun geçirme Veri çerçevesindeki ilk olanlar dışındaki tüm sütunları alacak ve toplamı (veya başka bir işlem) gerçekleştirecek bir Kullanıcı Tanımlı İşlev yazıyorum. Şimdi veri çerçeve

6ısı

2cevap

java.lang.ClassNotFoundException ile kıvılcım istisnası: de.unkrig.jdisasm.Disassembler

Kıvılcım 2.1.0 sürümünü çalıştırıyorum ve şu istisnaları alıyorum. Ben sonuç alıyorum ama sayımı val rdd = sparkLocal.read.text("/data/logs/file.log") println(rdd.count) Sadece metin dosyasını okuy

5ısı

1cevap

Spark Yapı yapısal adları UDF

olarak değişiyor UD'ye kıvılcımdaki bir yapıyı aktarmaya çalışıyorum. Alan adlarını değiştiriyor ve sütun pozisyonuna yeniden ad veriyor. Nasıl düzeltebilirim? object TestCSV { def main(args:

7ısı

1cevap

arama Apache kıvılcım Java'nın kullanarak yerine

Problem Durumu: Bir üzerinde (eşanlamlı listesinde ~ 40000 + Anahtar Değer çiftleri geniş koleksiyonundan) eşdeğeri sözlerle üst üste kelimelerin kelimeler değiştirmeniz gerekiyor büyük veri kümesi (5