spark-dataframe

7ısı

1cevap

Spark içinde bir Erişim Dizisi sütunu

a Spark DataFrame, bir dizi Array [Double] sütunu içerir. Bir map() işlevinde geri almayı denediğimde bir ClassCastException istisnası atar. Aşağıdaki scala kodu bir istisna oluşturur. case class Dumm

arrays scala apache-spark classcastexception spark-dataframe 2015-10-28

---

6ısı

1cevap

nasıl diğerine karşı bir dataframe filtrelemek çalışıyorum

başka dataframe karşı bir kıvılcım dataframe filtrelemek için df2 ("valid_id") içinde. user_id ya 2,3,4,5 ya da ben bir işlevi karşı bir filtre yapmaya çalışacağım Öte yandan scala> df1.select("user_i

scala apache-spark apache-spark-sql spark-dataframe 2015-09-18

---

7ısı

1cevap

Hive (kıvılcım 1.5.0)

indirilen kıvılcım ile Spark inşa etmeliyiz 1.5.0 önceden oluşturulmuş ve bu basit kodu pyspark aracılığıyla çalıştırmak from pyspark.sql import Row l = [('Alice', 1)] sqlContext.createDataFrame(l).

python maven apache-spark hive spark-dataframe 2015-09-30

---

5ısı

2cevap

İki (veya daha fazla) DataFrame'i Spark

'da sıkıştırmak için İki tane DataFramea ve b var. Yapabileceğim nasıl Column 1 | Column 2 | Column 3 abc | 123 | 1 cde | 23 | 2 : Column 1 | Column 2 abc | 123 cde | 23 b ben gibi bir ş

scala apache-spark dataframe apache-spark-sql spark-dataframe 2015-10-01

---

15ısı

1cevap

Boş/boş alan değerleriyle yeni Dataframe oluştur

Varolan bir veri çerçevesinden yeni bir Dataframe oluşturuyorum, ancak bu yeni DF'ye yeni sütun eklemem gerekiyor (kodun altındaki "field1"). Bunu nasıl yaparım? Örnek örnek çalışma örneği takdir edil

scala apache-spark apache-spark-sql spark-dataframe 2015-08-18

---

5ısı

1cevap

Birden çok farklı sütunu, Spark Dataframe scala

ile sütununa çevirme Sütunu: user, address1, address2, address3, phone1, phone2 ve benzeri bir veri çerçevem ​​var. Ben bu veri çerçevesini dönüştürmek istediğiniz - kullanıyorum haritaya sütunları dö

scala apache-spark spark-dataframe 2015-10-18

---