apache-spark

7ısı

1cevap

spark dataframe trim sütunu ve dönüştürün

Scala/Spark uygulamasında, boş dizeyi "", "NULL" olarak nasıl dönüştürebilirim? önce onu düzeltmek ve sonra "NULL" 'e dönüştürmek gerekir. Teşekkürler. dataframe.na.replace("cut", Map(" " -> "NULL")).

6ısı

2cevap

, Spark veri kümesini oluştururken xyz verilen giriş sütunları hatasını çözemiyor

Çok basit bir şey yapmaya çalışıyorum ama işe yaramadığına inanamıyorum ... Muhtemelen çok açık bir şey eksik. Lütfen yardım et. Amaç: bir Veri Kümesi içine İris veri kümesini (CSV dosyası, herhangi b

5ısı

1cevap

Bir Pyspark Dataframe öğesinde birden çok sütunun seçilmesi ve siparişi verildikten sonra,

Mevcut veri çerçevesinden (katılmadan sonra oluşturulan) birden çok sütun seçmek istiyorum ve dosya tablolarını hedef tablo yapım olarak sipariş etmek istiyorum. Nasıl yapılabilir? Kullandığım yaklaşı

9ısı

2cevap

TimeoutException almak için olası nedenleri nelerdir: Vadeli sonra zaman aşımına [n saniye] Spark

Bir Kıvılcım SQL programı üzerinde çalışıyorum ve aşağıdaki özel durum alıyorum çalışırken: 16/11/07 15:58:25 ERROR yarn.ApplicationMaster: User class threw exception: java.util.concurrent.TimeoutExce

8ısı

2cevap

nasıl "org.apache.kafka.clients.consumer.ConsumerRecord java.io.NotSerializableException" düzeltmek için?

Spark 2.0.0 Apache Kafka 0.10.1.0 scala Ben şu istisna ile başarısız aşağıdaki Scala koduyla spark streaming and kafka integration with kafka broker version 0.10.1.0 kullanmak 2.11.8 : Neden 16/11/13

6ısı

1cevap

RDT'den DataFrame'e geçirmek için StructType oluşturma nasıl otomatikleştirilir

RDD bir parke dosyası olarak kaydetmek istiyorum. Bunu yapmak için, ben DataFrame için RDD geçmek ve sonra bir parke dosyası olarak DataFrame kaydetmek için bir yapıyı kullanın: val aStruct = new Stru

5ısı

1cevap

Can SparkContext ve StreamingContext aynı programda bulunabilir mi?

Kafka sunucusundan satır okuyan, ancak başka bir yerel dosyada yazılmış kuralları kullanarak işleyen bir Sparkstreaming kodu oluşturmaya çalışıyorum. Sadece edebilir vb yerel dosyaları val sparkConf =

10ısı

3cevap

Spark olmayan bir ortamda bir pyspark ML modeli yükleme

Python'da bir makine öğrenimi modelinin dağıtımıyla ilgileniyorum, bu nedenle bir sunucuya yapılan isteklerle tahminler yapılabilir. Bir Cloudera kümesi oluşturacağım ve kütüphaneyi pyspark kullanarak

6ısı

1cevap

"küp" sadece kıvılcım veri çerçevesindeki belirli alanlar için nasıl kullanılır?

Kıvılcım 1.6.1 kullanıyorum ve böyle bir veri çerçevem var. +-------------+-----------+-----------------+-------+-------+-------+----------+-------+-------+-------+-------+ | scene_id| action_id|

10ısı

1cevap

CSV'yi zaman damgası ve tarih türlerine sahip bir Spark Dataframe'e okuma

Spark 1.6 ile birlikte CDH'dir. Bir apache Kıvılcım DataFrame içine bu Varsayımsal CSV içe çalışıyorum: $ hadoop fs -cat test.csv a,b,c,2016-09-09,a,2016-11-11 09:09:09.0,a a,b,c,2016-09-10,a,2016-1