apache-spark-1.6

10ısı

1cevap

CSV'yi zaman damgası ve tarih türlerine sahip bir Spark Dataframe'e okuma

Spark 1.6 ile birlikte CDH'dir. Bir apache Kıvılcım DataFrame içine bu Varsayımsal CSV içe çalışıyorum: $ hadoop fs -cat test.csv a,b,c,2016-09-09,a,2016-11-11 09:09:09.0,a a,b,c,2016-09-10,a,2016-1

apache-spark apache-spark-sql apache-spark-1.6 2016-11-30

---

15ısı

1cevap

PySpark serileştirme EOFError

Bir CSV içinde Spark DataFrame olarak okuyorum ve üzerinde makine öğrenme işlemleri gerçekleştiriyorum. Bir Python serileştirme EOFError almaya devam ediyorum - herhangi bir fikri neden? Bir bellek so

python apache-spark pyspark apache-spark-1.6 2016-04-12

---