apache-spark

6ısı

1cevap

Scala wrappedArray nasıl yinelenir? (Kıvılcım)

aşağıdaki işlemleri gerçekleştirir: Bu sarılı diziyi sürekli tekrarlanması veya bir liste halinde bu dönüştürebilirim nasıl val tempDict = sqlContext.sql("select words.pName_token,collect_set(words.pI

scala apache-spark apache-spark-sql 2016-07-08

---

10ısı

1cevap

Vektör, sütunlara nasıl bölünür - PySpark kullanarak

Bağlam: 2 sütunlu bir DataFrame sahibiyim: sözcük ve vektör. "Vektör" sütun tipinin VectorUDT olduğu yerlerde. Bir Örnek: word | vector assert | [435,323,324,212...] Ve bu olsun istiyorum: word |

python vector apache-spark pyspark spark-dataframe 2016-07-14

---

5ısı

4cevap

kıvılcım gönder "Hizmet 'Sürücü' noktası üzerinde bağlamak" hata

Ben wordcount kıvılcım java örneği çalıştırmak için aşağıdaki komutu kullanılır: - Ben çalıştırdığınızda, aşağıdaki çıkış time spark-submit --deploy-mode cluster --master spark://192.168.0.7:6066 --cl

apache-spark word-count 2016-07-18

---

7ısı

1cevap

Kafka ile akıcılık akışı - createDirectStream vs createStream

Bir süredir kafka ile kıvılcım akışı kullanıyorduk ve şu ana kadar KafkaUtils'dan createStream yöntemini kullanıyorduk. bölümleri RDD için 1) Daha iyi/daha kolay "yalnızca bir kez" semantik 2) kafka k

apache-spark apache-kafka spark-streaming 2016-07-19

---

6ısı

2cevap

Toplama sütunları nasıl adlandırılır?

Spark içinde Scala kullanıyorum ve birleştirilmiş sütunlarım anonim. Veri kümesinden birden çok sütun yeniden adlandırmak için uygun bir yol var mı? Ben as ile bir şema empoze düşündüm ama anahtar süt

scala apache-spark apache-spark-dataset 2016-07-25

---

5ısı

1cevap

kıvılcım veri karesi kopyalar çoğaltılır ve ilk kez saklanır

Soru: Yinelenen sütunları silerken, hangi sütunların saklanacağını belirleyebilirsiniz. Spark Dataframes'da bir eşdeğer var mı? Pandalar: df.sort_values('actual_datetime', ascending=False).drop_duplic

apache-spark dataframe duplicates 2016-07-31

---

5ısı

1cevap

Naive Bayes modeli için BinaryClassificationMetrics değerlendirmesinde tahmin edilen ve etiket sütunları nasıl verilir

BinaryClassificationMetrics (Mllib) girişleriyle ilgili bir karışıklık var. Apache Spark 1.6.0 uyarınca, tahmin edilen, olasılık (vektör) & rawPrediction (vektör) olan dönüştürülmüş DataFrame'den (RDD

scala apache-spark machine-learning apache-spark-mllib apache-spark-ml 2016-08-01

---

5ısı

1cevap

spark dataframe satırlarını dynamoDB tablosundaki öğeler olarak yazın

veri çerçevemin her bir satırını dynamoDB tablosunda yeni bir öğe olarak yazmanın bir yolu var mı? (pySpark olarak) Ben boto3 kütüphane ile bu kodu kullanılır, ancak pandas ve for loop adımları kaçına

apache-spark amazon-dynamodb pyspark 2016-06-27

---

20ısı

4cevap

Scala'nın Iterables Listesinden DataFrame nasıl oluşturulur?

Aşağıdaki Scala değere sahip: val values: List[Iterable[Any]] = Traces().evaluate(features).toList ve ben bir DataFrame dönüştürmek istiyoruz. error: overloaded method value createDataFrame with alt

scala apache-spark apache-spark-sql spark-dataframe 2016-06-27

---

8ısı

2cevap

PySpark'ta Patlatma

Her bir kelime kendi satırında bir DataFrame'e sözcük listelerini içeren bir DataFrame'den dönüştürmek istiyorum. DataFrame'deki bir sütunda nasıl patlayabilirim? Aşağıda, her bir kod satırını engelle

python apache-spark pyspark apache-spark-sql 2016-07-05

---