apache-spark-sql

6ısı

1cevap

gelen metastore bağlantısını kapatmak için Projem ben karşılaşmak 1.4 Spark yükselttikten sonra farklı HiveContext yapılandırmaları için birim testleri (onlar özelliklerin göre gruplandırılmış olarak

6ısı

2cevap

Spark/Scala derleyicisi neden RDD'de DM'yi bulamıyor [Map [Int, Int]]?

Aşağıdakiler neden bir hatayla sonuçlanıyor? scala> import sqlContext.implicits._ import sqlContext.implicits._ scala> val rdd = sc.parallelize(1 to 10).map(x => (Map(x -> 0), 0)) rdd: org.apache.

7ısı

1cevap

SparkSQL'de benzer durum nasıl uygulanır?

aşağıdaki deyimi gibi hedefe ulaşmak için SQL deyimi yazabilirim nasıl SELECT * FROM table t WHERE t.a LIKE '%'||t.b||'%'; teşekkür ederiz.

6ısı

1cevap

Spark: Veritabanını ORC biçiminde kaydet

Önceki sürümde, RDD'de bir 'saveAsOrcFile()' yöntemine sahibdik. Bu şimdi gitti! DataFrame'deki verileri ORC Dosya biçiminde nasıl kaydederim? def main(args: Array[String]) { println("Creating Orc Fi

6ısı

1cevap

Dönüştürülen DataFrame'i kaydetme/dışa aktarma JDBC/MySQL'e geri dön

Veriyi bir JDBC veritabanına geri yazmak için yeni DataFrameWriter'u nasıl kullanacağımı anlamaya çalışıyorum. Bunun için herhangi bir döküman bulamıyorum, kaynak koduna bakmak mümkün gözüküyor gibi g

5ısı

2cevap

Spark yazmak S3 to parke son görev sonsuza kadar sürer

DataFrame'den S3'e bir parke dosyası yazıyorum. Kıvılcım UI'sine baktığımda, tüm görevleri görebiliyorum ama 1 hızlı bir şekilde yazma aşamasını tamamladı (ör. 199/200). Bu son görev sonsuza kadar sür

9ısı

2cevap

Spark: DataFrame'i sıkıştırılmış JSON olarak yazmak

Apache Spark'un DataFrameReader.json() gzipli JSONlines dosyalarını otomatik olarak işleyebilir ancak sıkıştırılmış JSONline dosyaları yazmak için DataFrameWriter.json() yolunu bulmanın bir yolu yoktu

6ısı

2cevap

Katıştırılmış modda kıvılcım - kullanıcı/kovan/depo bulunamadı

Yerleşik yerel modda Apache Spark kullanıyorum. pom.xml ve aynı sürümde bulunan tüm bağımlılıklarım var (spark-core_2.10, spark-sql_2.10 ve spark-hive_2.10). Sadece bir masa (Parke olarak depolanmış)

15ısı

1cevap

Boş/boş alan değerleriyle yeni Dataframe oluştur

Varolan bir veri çerçevesinden yeni bir Dataframe oluşturuyorum, ancak bu yeni DF'ye yeni sütun eklemem gerekiyor (kodun altındaki "field1"). Bunu nasıl yaparım? Örnek örnek çalışma örneği takdir edil

5ısı

1cevap

Birden çok satır nasıl karşılaştırılır?

numaralı i-1 numaralı i-1 ile col2 (col1 sıralanır) karşılaştırmak istiyorum. i-inci sıranın item_i ve item_[i-1]_row farklıysa bir iki satır tarama, ben, yukarıdaki örnekte 1. +--------------+ | col