apache-spark-sql

5ısı

1cevap

Scala'da Apache Spark'deki veri kümesine veri tabanı nasıl dönüştürülür?

Bir veri kümesine benim dataframe dönüştürmek gerekiyor ve aşağıdaki kodu kullandı: val final_df = Dataframe.withColumn( "features", toVec4( // casting into Timestamp to parse the stri

6ısı

1cevap

Spark DataFrame'e iç içe bir sütun ekleme

Yuvalanmış düzeydeki bir yapıya alanları nasıl ekleyebilir veya değiştirebilirim? Bu giriş: val rdd = sc.parallelize(Seq( """{"a": {"xX": 1,"XX": 2},"b": {"z": 0}}""", """{"a": {"xX": 3},"b":

7ısı

1cevap

arama Apache kıvılcım Java'nın kullanarak yerine

Problem Durumu: Bir üzerinde (eşanlamlı listesinde ~ 40000 + Anahtar Değer çiftleri geniş koleksiyonundan) eşdeğeri sözlerle üst üste kelimelerin kelimeler değiştirmeniz gerekiyor büyük veri kümesi (5

5ısı

2cevap

kıvılcım sql pencere fonksiyonu gecikmesi

Spark SQL, Scala'da bir Spark DataFrame için pencere kaydırma işlevine bakıyorum. Sütun Col1, Col1, Col1, date ile bir veri çerçevem var. Col1 Col2 Col3 date volume new_col 201601 100.5

6ısı

1cevap

çıkış sırasını verilen giriş

sipariş veri kümesi değişiyor isin() işlevi sonra Apache kıvılcımla farklı sütun isimlerine sahip iki veri kümesi, birleştirme sorun ifadesi sırasına değildir. sort, orderby ile denedim, ancak çalışma

5ısı

2cevap

SparkSQL - parke dosyasını oku doğrudan

Bir masa okumak için aşağıdaki kodu kullanarak, SparkSQL için Impala geçiş ediyorum: Nasıl SparkSQL yukarıda çağırmak my_data = sqlContext.read.parquet('hdfs://my_hdfs_path/my_db.db/my_table') , bu

6ısı

1cevap

EMR'de kıvılcım işini hızlıca yazmak için nasıl yapılır S3

İki veri çerçevesi arasında dış birleştirmeyi yaptığım bir kıvılcım var. İlk veri çerçevesinin boyutu 260 GB'dir, dosya formatı 2200 dosyaya bölünmüş metin dosyalarıdır ve ikinci veri çerçevesinin boy

5ısı

1cevap

pyspark düzeltmesi (5K sütuntan fazla)

100 milyon satır ve 5000+ sütun içeren bir DF sahibiyim. Colx ve kalan 5000+ sütun arasındaki düzeltmeyi bulmaya çalışıyorum. aggList1 = [mean(col).alias(col + '_m') for col in df.columns] #exclude ke

6ısı

1cevap

Kıvılcım koşullu Spark SQL pencere işlevi

Bu, örnek olarak açıklanması muhtemelen en kolay yoldur. Örneğin, bir web sitesine kullanıcı girişlerinin bir DataFrame olduğunu varsayalım: scala> df.show(5) +----------------+----------+ | user_n

7ısı

2cevap

Pyspark veri çerçevesindeki her sütun için Null ve Nan değerlerinin sayısı nasıl bulunur? Her sütun için boş nan deyince/ile

import numpy as np df = spark.createDataFrame( [(1, 1, None), (1, 2, float(5)), (1, 3, np.nan), (1, 4, None), (1, 5, float(10)), (1, 6, float('nan')), (1, 6, float('nan'))], ('session', "ti