spark-dataframe

6ısı

1cevap

EMR'de kıvılcım işini hızlıca yazmak için nasıl yapılır S3

İki veri çerçevesi arasında dış birleştirmeyi yaptığım bir kıvılcım var. İlk veri çerçevesinin boyutu 260 GB'dir, dosya formatı 2200 dosyaya bölünmüş metin dosyalarıdır ve ikinci veri çerçevesinin boy

5ısı

1cevap

SparkException: Birleştirilecek değerler boş olamaz

Özellikleri normalleştirmek için StandardScaler kullanmak istiyorum. İşte benim kodudur: val Array(trainingData, testData) = dataset.randomSplit(Array(0.7,0.3)) val vectorAssembler = new VectorAssemb

6ısı

1cevap

Yapılandırılmış Akış kullanarak Kafka'dan JSON biçiminde kayıtlar nasıl okunur?

Kafka'dan bir veri akışı yüklemek için DataFrame/Dataset API'sine dayalı Spark-Streaming'i kullanarak structured streaming approach'u kullanmaya çalışıyorum. kullanmak: Kıvılcım 2.10 Kafka'nın 0.10 kı

12ısı

2cevap

Yeni veriler olmadan bölümleri silmeden Spark'de DataFrame nasıl bölümlenir ve yazılır?

Böyle üç sütun değerleri tarafından bölümlenmiş, DataFrameWriter kullanarak Parke formatında HDF'ler bir DataFrame kurtarmaya çalışıyorum: this question belirtildiği gibi dataFrame.write.mode(SaveMode

10ısı

2cevap

Pyspark: UDF

'da birden çok sütun geçirme Veri çerçevesindeki ilk olanlar dışındaki tüm sütunları alacak ve toplamı (veya başka bir işlem) gerçekleştirecek bir Kullanıcı Tanımlı İşlev yazıyorum. Şimdi veri çerçeve

6ısı

1cevap

"küp" sadece kıvılcım veri çerçevesindeki belirli alanlar için nasıl kullanılır?

Kıvılcım 1.6.1 kullanıyorum ve böyle bir veri çerçevem var. +-------------+-----------+-----------------+-------+-------+-------+----------+-------+-------+-------+-------+ | scene_id| action_id|

6ısı

1cevap

Spark DataFrame'e iç içe bir sütun ekleme

Yuvalanmış düzeydeki bir yapıya alanları nasıl ekleyebilir veya değiştirebilirim? Bu giriş: val rdd = sc.parallelize(Seq( """{"a": {"xX": 1,"XX": 2},"b": {"z": 0}}""", """{"a": {"xX": 3},"b":

7ısı

2cevap

Pyspark veri çerçevesindeki her sütun için Null ve Nan değerlerinin sayısı nasıl bulunur? Her sütun için boş nan deyince/ile

import numpy as np df = spark.createDataFrame( [(1, 1, None), (1, 2, float(5)), (1, 3, np.nan), (1, 4, None), (1, 5, float(10)), (1, 6, float('nan')), (1, 6, float('nan'))], ('session', "ti

7ısı

1cevap

arama Apache kıvılcım Java'nın kullanarak yerine

Problem Durumu: Bir üzerinde (eşanlamlı listesinde ~ 40000 + Anahtar Değer çiftleri geniş koleksiyonundan) eşdeğeri sözlerle üst üste kelimelerin kelimeler değiştirmeniz gerekiyor büyük veri kümesi (5

5ısı

2cevap

kıvılcım sql pencere fonksiyonu gecikmesi

Spark SQL, Scala'da bir Spark DataFrame için pencere kaydırma işlevine bakıyorum. Sütun Col1, Col1, Col1, date ile bir veri çerçevem var. Col1 Col2 Col3 date volume new_col 201601 100.5