apache-spark-sql

0ısı

1cevap

'dan okunmuştur kıvılcım ile mongodb okumak için daha iyi bir seçenek var mı? Şu anda ben https://github.com/Stratio/Spark-MongoDB ben çok fazla veri başlangıçta taranır çünkü val mongoRDD = sql.fromM

6ısı

1cevap

Doğrudan Parquet/S3'ten Redshift'e Spark SQL/Hive/Presto?

S3'da depolanan çok miktarda sunucu verisi var (yakında bir Parquet biçiminde olmak üzere). Verilerin bazı dönüşüme ihtiyacı vardır ve bu nedenle S3'ten gelen bir düz kopya olamaz. Verilere erişmek iç

15ısı

1cevap

Apache Spark uygulamasındaki bir Avro dosyasından desteklenmeyen birleşim türleri karışımını okuyun.

CSV düz dosyaları okumadan kıvılcımdaki avro dosyalarına geçiş yapmaya çalışıyorum. https://github.com/databricks/spark-avro kullandığım aşağıdaki: import com.databricks.spark.avro._ val sqlContext =

7ısı

2cevap

PySpark'ta bir UDF'de "Tuple tipi" nasıl geri dönülür?

tüm data types in pyspark.sql.types are: __all__ = [ "DataType", "NullType", "StringType", "BinaryType", "BooleanType", "DateType", "TimestampType", "DecimalType", "DoubleType", "FloatType",

12ısı

2cevap

Veri kümelerine çoklu sütunlarda nasıl katılır?

Verilen iki Spark Veri Setleri, A ve B ı aşağıdaki gibi tek bir sütun üzerinde katılmak yapabilirsiniz: a.joinWith(b, $"a.col" === $"b.col", "left") sorum Birden çok sütun kullanarak katılmak yapabi

10ısı

1cevap

S kıvılcım koşullarında durum silikayla birlikte ne zaman yazmak için kullanılır

SELECT c.PROCESS_ID, CASE WHEN c.PAYMODE = 'M' THEN CASE WHEN CURRENCY = 'USD' THEN c.PREMIUM * c.RATE ELSE c.PREMIUM END * 12 ELSE CASE WHEN CURR

5ısı

1cevap

Spark select-explode deyimi nasıl uygulanır?

Bir dize sütunu, col1 ve bir dizi sütunu col2 olan bir DataFrame'in olduğunu varsayalım. Ben Spark operasyonda perde arkasında neler merak ediyorum: df.select('col1', explode('col2')) O select girdi o

5ısı

2cevap

Spark SQL: Json verilerini DataFrame

olarak REST hizmetinden nasıl tüketirim? Web servisinden bazı JSON verilerini okumanız gerekirse, SPARK SQL kodundaki verileri analiz için sorgulamak için REST arabirimleri sağlar. Blob deposunda depo

9ısı

3cevap

Sürüm kitaplığı kıvılcımı SparkSession ile birlikte SparkSession

Code Spark desteklenmektedir. <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http:/

8ısı

2cevap

Solumn

altında bir veri çerçeve sütunu ve harici listeyi udf'ye aktarma Aşağıdaki yapıda bir kıvılcım veri çerçevem var. BodyText_token, tokenlere (işlenmiş/kelime kümesi) sahiptir. Ve ben her bir anahtar