apache-spark

7ısı

2cevap

Pyspark veri çerçevesindeki her sütun için Null ve Nan değerlerinin sayısı nasıl bulunur? Her sütun için boş nan deyince/ile

import numpy as np df = spark.createDataFrame( [(1, 1, None), (1, 2, float(5)), (1, 3, np.nan), (1, 4, None), (1, 5, float(10)), (1, 6, float('nan')), (1, 6, float('nan'))], ('session', "ti

10ısı

1cevap

Spark Akış İşi kurtarılamıyor

İlk RDD ile mapWithState kullanan bir kıvılcım akışı işini kullanıyorum. Uygulamayı yeniden başlatırken ve denetim noktasından kurtarılırken hatayla başarısız olur: Bu RDD bir SparkContext'den yoksund

6ısı

1cevap

Scala/Kıvılcım sürümü uyumluluk

benim ilk kıvılcım uygulaması inşa ediyorum. http://spark.apache.org/downloads.html o Kıvılcım 2.x Scala 2.11 karşı inşa edilmiştir söylüyor. Ben 2.11.0 den sürümleri görüyorum https://www.scala-lang.

15ısı

1cevap

katılmak ve Apache cogroup Spark? Ve ne zaman bunları kullanmak için katılmak ve Apache cogroup arasındaki farkı nedir

Spark arasındaki farkı nedir

6ısı

1cevap

çıkış sırasını verilen giriş

sipariş veri kümesi değişiyor isin() işlevi sonra Apache kıvılcımla farklı sütun isimlerine sahip iki veri kümesi, birleştirme sorun ifadesi sırasına değildir. sort, orderby ile denedim, ancak çalışma

5ısı

2cevap

ByKey için anlamı nedir (_ ++ _)

Geçtiğimiz günlerde verileri keyValue Pair'da saklamak için bir senaryo oluşturdum ve reduceByKey(_ ++ _) işlevine rastladım. Bu, daha çok kısa sözdizimi. Bunun aslında ne anlama geldiğini anlayamıyor

6ısı

3cevap

“value $, StringContext'in bir üyesi değil” - Missing Scala eklentisi?

Scala archetype ile maven kullanıyorum. O hatayı alıyorum: Zaten pom.xml'Bu bazı şeyleri eklemek çalıştı “value $ is not a member of StringContext” , ama hiçbir şey çok iyi çalıştı ... Kodum: import o

5ısı

1cevap

Spark-MLlib PMML dosyasında DataField değerleri tam sütun adları ile nasıl değiştirilir?

Spark 2.1.0 kullanıyorum. Spark-MLlib Doğrusal Regresyon modelini PMML dosyası olarak dışa aktarmaya çalışıyorum. PMML dosyasını da başarıyla ihraç ettim. Fakat bu dosyada, herhangi bir alan adı görem

5ısı

1cevap

element sınıfına göre kıvılcım ayırıcı filtre

Farklı türden elemanlara sahip bir RDD var ve bunları türlerine göre saymak istiyorum, örneğin aşağıdaki kod düzgün çalışacaktır. scala> val rdd = sc.parallelize(List(1, 2.0, "abc")) rdd: org.apache.

5ısı

1cevap

Scala'da Apache Spark'deki veri kümesine veri tabanı nasıl dönüştürülür?

Bir veri kümesine benim dataframe dönüştürmek gerekiyor ve aşağıdaki kodu kullandı: val final_df = Dataframe.withColumn( "features", toVec4( // casting into Timestamp to parse the stri