apache-spark-sql

5ısı

2cevap

2 kıvılcımlı RDD'ler, dataRDD ve newPairDataRDD kullanıyorum. Uygulamam başladığında, dataRDD başlatılacak. Belirtilen bir hbase öğesindeki tüm veriler, dataRDD'ye depolanır. İstemcinin sql sorgusu ge

5ısı

1cevap

Spark-SQL'de (Hive'de) SQL enjeksiyonlarından kaçınmanın tercih edilen yolu nedir?

Bir şemaRDD rdd, kayıtlı bir tabloyla customer. Kayıtları bir kullanıcı girişine göre filtrelemek istiyorsunuz. rdd.sqlContext.sql(s"SELECT * FROM customer WHERE name='$userInput'") Ancak PHP eski g

5ısı

1cevap

hive/sql ve spark ile json anahtar değerlerini oku

Bu json dosyasını bir kovan tablosuna okumaya çalışıyorum, en üst seviye tuşları, yani 1,2 .., burada tutarlı değil. { "1":"{\"time\":1421169633384,\"reading1\":130.875969,\"reading2\":227.138275

9ısı

1cevap

Spark SQL, Parşömen verilerini çok sayıda parça ile birlikte yazdıramıyor

S3'deki json log verilerini S3'teki Parke dosyalarına aktarmak için Apache Spark SQL'i kullanmaya çalışıyorum. Kodum temelde: import org.apache.spark._ val sqlContext = sql.SQLContext(sc) val data =

9ısı

3cevap

S3 tek json dosyası olarak büyük Spark Dataframe kaydet Amazon S3 tek json dosyası (20G fazlasının) bir Spark DataFrame kurtarmaya çalışırken, dataframe kurtarmak için benim kod aşağıdaki gibi olduğunu

Im: dataframe.repartition(1).save("s3n://mybucket/testfile","json") Ancak S3'ten bir hata alıyorum "Önerilen yüklemeniz izin verilen maksimum boyutu aşıyor", Amazon tarafından izin verilen maksimum

28ısı

4cevap

Scala DataFrame'in satırı, vaka sınıfına en verimli şekilde nasıl dönüştürülür?

Bir Data sınıfını, Dataframe veya Catalyst adlı Spark uygulamasına girdikten sonra, kodumdaki bir vaka sınıfına dönüştürmek istiyorum. Bu someRow match {case Row(a:Long,b:String,c:Double) => myCaseCla

6ısı

1cevap

Mevcut Apache Spark bağımsız kümesinde Apache Zeppelin nasıl yüklenir

AWS'de bir Apache Spark (1.3 sürümü) bağımsız kümem var ve Apache Zeppelin'i yüklemek istiyorum. Çok basit bir sorum var, Spark'ın ustasına Zeppelin'i kurmak zorunda mıyım? Yanıt evet ise, bu kılavuzu

14ısı

1cevap

Scala/Kıvılcım Uygulaması "No TypeTag available" ile "def main" tarzında bir hata oluştu. App

Scala/Spark yığınında yeniyim ve SparkSql kullanarak temel becerilerimi nasıl test edeceğimi anlamaya çalışıyorum "map" TempTables ve viceversa'daki RDD'ler. Aynı kodla birlikte 2 farklı .scala dosyam

32ısı

2cevap

Apache'de farklı RDD'lerin veri kümelerinin birleştirilmesi scala kullanılarak

İki farklı RDD s veri kümesini kıvılcımla birleştirmenin bir yolu var mı? Gereksinim - Aynı sütun adlarına sahip scala kullanan iki ara RDD oluşturuyorum, bu RDD'lerin sonuçlarını birleştirip UI'ye er

5ısı

1cevap

kıvılcım hatası RDD oluştururken RDD türü bulunamadı

Vaka sınıfı nesnelerin bir RDD oluşturmaya çalışıyorum. . <console>:28: error: not found: type RDD val people: RDD[Person] =sc.textFile("/user/root/people.txt").map(_.split(",")).map(p => Person