rdd

2ısı

1cevap

türü için şemadan anlaması olamaz:</p> <p>: Ben kıvılcımla Dataframe için RDD tarafından dönüştürmek çalıştığınızda DataFrame

için RDD dönüştürülür ve ben istisna aşağıdaki almak zaman "türü için şemadan anlaması olamaz" örnek: >> rangeRDD.take(1).foreach(println) (301,301,10) >> sqlContext.inferSchema(rangeRDD) Can not i

apache-spark dataframe pyspark rdd spark-dataframe 2016-04-13

---

0ısı

1cevap

Spark Satırları için yeni şema tanımlama

Bir DataFrame'im var ve sütunlarından biri bir JSON dizesi içeriyor. Şimdiye kadar, yönteminin gerektirdiği gibi arayüzünü uygulamıştım: Function<Row,Row>(). Bu işlev içinde JSON'u ayrıştırıyorum ve J

java apache-spark rdd spark-dataframe 2016-04-14

---

2ısı

1cevap

pyspark'ta bir RDD'deki tekil elemanlara nasıl erişilir?

ben her seferinde bir tuple almak için map kullanıyorum [(u'Some1', (u'ABC', 9989)), (u'Some2', (u'XYZ', 235)), (u'Some3', (u'BBB', 5379)), (u'Some4', (u'ABC', 5379))] gibi RDD var ama tuple bireysel

python apache-spark pyspark rdd 2016-04-14

---

6ısı

1cevap

Scala: String değerleri için GroupBy toplamı nasıl yapılır?

Ben RDD [Satır]: |---itemId----|----Country-------|---Type----------| | 11 | US | Movie | | 11 | US | TV | | 101 | France | Movie | her satır ayrı json nesnesi (

json scala apache-spark rdd spark-dataframe 2016-09-12

---

6ısı

1cevap

Scalaz Tip Apache Spark için Sınıflar RDD'ler

Amaç, Scalaz for Spark'ın RDD'si (dağıtılmış koleksiyon) tarafından sağlanan farklı tip sınıflarını (Semigroup, Monad, Functor, vb.) Uygulamaktır. Ne yazık ki, RDD'lerle iyi çalışmak için daha yüksek

scala apache-spark functional-programming rdd scalaz 2016-04-17

---

6ısı

2cevap

RDD'de herhangi bir işlem emri saklıyor mu?

reduce gibi bir performans istiyorum ancak operatörün değişmeli olmasına gerek yok. Yani, result takip edilmesinin her zaman "123456789" olmasını istiyorum. scala> val rdd = sc.parallelize(1 to 9 map

scala apache-spark rdd reduce fold 2016-08-05

---

6ısı

1cevap

RDT'den DataFrame'e geçirmek için StructType oluşturma nasıl otomatikleştirilir

RDD bir parke dosyası olarak kaydetmek istiyorum. Bunu yapmak için, ben DataFrame için RDD geçmek ve sonra bir parke dosyası olarak DataFrame kaydetmek için bir yapıyı kullanın: val aStruct = new Stru

scala apache-spark spark-dataframe rdd 2016-11-15

---

7ısı

1cevap

Bir RDD [Satır] geri DataFrame'e nasıl dönüştürülür

Dönüştürme RDD'leri DataFrames'e dönüştürmek ve tekrar kullanmaktayım. İlk olarak, dataPair olarak adlandırılan bir tür RD (Int, Int) vardı. Sonra sütun başlıkları kullanılarak bir DataFrame nesnesi o

scala apache-spark frame rdd 2016-05-03

---

5ısı

1cevap

Bir kıvılcım RDD

'daki her tuş için maksimum değeri alın Bir kıvılcım RDD'sindeki her benzersiz anahtarla ilişkili maksimum sırayı (değeri) döndürmenin en iyi yolu nedir? Python kullanıyorum ve Math max'ı, anahtar ve

python apache-spark pyspark rdd 2016-05-04

---

6ısı

2cevap

Bir RDD'yi HDFS'ye nasıl kaydedebilirim ve daha sonra okuyabilir miyim?

Öğeleri türünde (Uzun, Dize) bir RDD sahibim. Bazı nedenlerden dolayı, tüm RDD'yi HDFS'ye kaydetmek istiyorum ve daha sonra RDD'nin bir Spark programına geri döndüğünü de okudum. Bunu yapmak mümkün mü

scala apache-spark hdfs rdd bigdata 2016-10-16

---