spark-dataframe

6ısı

1cevap

Scala: String değerleri için GroupBy toplamı nasıl yapılır?

Ben RDD [Satır]: |---itemId----|----Country-------|---Type----------| | 11 | US | Movie | | 11 | US | TV | | 101 | France | Movie | her satır ayrı json nesnesi (

json scala apache-spark rdd spark-dataframe 2016-09-12

---

6ısı

2cevap

Spark SQL - df.repartition ile DataFrameWriter bölümü arasındaki fark?

DataFrame repartition() ve DataFrameWriter partitionBy() yöntemleri arasındaki fark nedir? Her ikisi partition data based on DF column için kullanılır umut ? ya da herhangi bir fark var mı?

apache-spark-sql spark-dataframe data-partitioning 2016-11-04

---

6ısı

1cevap

Bir Spark DataFrame'deki VectorUDT sütununun öğesine nasıl erişilir?

features adında bir VectorUDT sütununa sahip bir df veri karegim var. İlk eleman diyelim, sütunun bir elemanını nasıl alabilirim? aşağıdaki from pyspark.sql.functions import udf first_elem_udf = udf(

apache-spark pyspark apache-spark-sql spark-dataframe apache-spark-ml 2016-09-18

---

9ısı

2cevap

TimeoutException almak için olası nedenleri nelerdir: Vadeli sonra zaman aşımına [n saniye] Spark

Bir Kıvılcım SQL programı üzerinde çalışıyorum ve aşağıdaki özel durum alıyorum çalışırken: 16/11/07 15:58:25 ERROR yarn.ApplicationMaster: User class threw exception: java.util.concurrent.TimeoutExce

scala apache-spark apache-spark-sql spark-dataframe 2016-11-07

---

6ısı

1cevap

RDT'den DataFrame'e geçirmek için StructType oluşturma nasıl otomatikleştirilir

RDD bir parke dosyası olarak kaydetmek istiyorum. Bunu yapmak için, ben DataFrame için RDD geçmek ve sonra bir parke dosyası olarak DataFrame kaydetmek için bir yapıyı kullanın: val aStruct = new Stru

scala apache-spark spark-dataframe rdd 2016-11-15

---

12ısı

2cevap

Spark sql boş değerleri kaybetmeden nasıl patlayabilir

Düzleştirmeye çalıştığım bir Dataframe'im var. İşlemin bir parçası olarak, onu patlatmak istiyorum, bu yüzden bir dizi sütunum varsa, dizinin her bir değeri ayrı bir satır oluşturmak için kullanılacak

java apache-spark apache-spark-sql spark-dataframe 2016-09-28

---

6ısı

1cevap

Veritabanını (kovan tablosundan elde edilen), hadoop'a nasıl yazılır? SequenceFile ve RCFile?

Ben doğrudan ORC PARQUET ve TEXTFILE AVRO içine yazabiliyorum Veritabanlarından ek bağımlılıklar kullanarak . <dependency> <groupId>com.databricks</groupId> <artifactId>spark-csv_2.10</art

apache-spark apache-spark-sql spark-dataframe 2016-10-03

---

8ısı

2cevap

Spark 2.0 kıvılcım çıkarması yok

Spark 2.0'ı kullanarak, satırların bir veri çerçevesini vaka sınıflarının bir veri çerçevesine dönüştürmenin mümkün olduğunu görüyorum. Bunu yapmaya çalıştığımda, spark.implicits._ ithal etmek için bi

scala apache-spark spark-dataframe 2016-10-11

---

7ısı

4cevap

Pyspark:</p> <pre><code>my_df.hist(column = 'field_1') </code></pre> <p>pyspark veri çerçeve içinde aynı hedefe bir şey var mı: Bir veri çerçevesi sütunun gösteri histogramı pandalar veri çerçevesinde

, bir sütunun histogram çizmek için aşağıdaki kodu kullanıyorum ? (Jupyter Defterindeyim) Teşekkürler!

python pyspark spark-dataframe jupyter-notebook 2016-08-25

---

6ısı

1cevap

Alma istisna: java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror (Ljava/lang/ClassLoader;) verileri kullanılarak

çerçeveleri ederken java.lang.NoSuchMethodError" alıyorum: scala.reflect.api.JavaUniverse .RuntimeMirror (Ljava/lang/ClassLoader;) "scala uygulamasında dataframes kullanırken ve spark kullanarak çalış

scala apache-spark spark-dataframe bigdata 2016-10-19

---