apache-spark

7ısı

1cevap

PySpark'ı (yerel makine) EMR kümeme nasıl bağlarım?

Apache Spark ile önyüklemiş 3 düğümlü bir AWS ElasticMapReduce küme yerleştirdim. Benim yerel makinede, ben SSH ile ana düğümünü erişebilirsiniz: Bir kez ana düğüm haline ssh'd ssh -i <key> [email pro

11ısı

2cevap

Pyspark: Satırlara çoklu dizi sütunlarını bölme

Bir satır ve birkaç sütun içeren bir veri çerçevem var. Bazı sütunlar tek değerdir, diğerleri ise listelerdir. Tüm liste sütunları aynı uzunluktadır. Liste dışı bir sütunu olduğu gibi tutarken, her

5ısı

1cevap

Bir ADT/kapalı özellik hiyerarşisini Spark DataSet sütunu içine kodlayın

Bir Spark DataSet sütununda bir Cebirsel Veri Türü (ADT) (örneğin Scala sızdırmaz özellik hiyerarşisi) depolamak istiyorsam, en iyi kodlama stratejisi nedir? en iyi yolu inşa etmek nedir sealed trait

5ısı

1cevap

Çoklu kurucular scala

Aşağıda kullanarak kıvılcım veri dönüştürme yaparken sonra cevap buldu => java.lang.IllegalArgumentException: Multiple constructors with the same number of parameters not allowed. at com.datastax

5ısı

1cevap

Spark için RDD'ler için aynı bölümleyiciyi ayırma

Herhangi bir ağ trafiğinden kaçınmak için aynı yürütücüyü ve RDD'ler için aynı bölümleyiciyi ayırmaya çalışıyoruz ve aynı zamanda karma grup ve birleştirmeler gibi karma işlemleri hiçbir aşama sınırın

5ısı

2cevap

benim pyspark Sıra nesnesi Verilen Vector

içine türünü dönüştürülemez: Ancak >>> row Row(clicked=0, features=SparseVector(7, {0: 1.0, 3: 1.0, 6: 0.752})) >>> row.clicked 0 >>> row.features SparseVector(7, {0: 1.0, 3: 1.0, 6: 0.752}) >>>

5ısı

3cevap

Bugün nasıl edinilir - sparksql'da "1 gün" tarihi?

Nasıl sparksql içinde current_date - 1 günü olsun, mysql içinde cur_date()-1 ile aynı.

5ısı

1cevap

Nasıl org.apache.spark.mllib.linalg.VectorUDT için ml.linalg.VectorUDT dönüştürebilirsiniz

Spark cluster 2.0 kullanıyorum ve ben org.apache.spark.mllib.linalg.VectorUDT için org.apache.spark.ml.linalg.VectorUDT bir vektör dönüştürmek istiyorum. # Import LinearRegression class from pyspark.

5ısı

2cevap

kıvılcım sql pencere fonksiyonu gecikmesi

Spark SQL, Scala'da bir Spark DataFrame için pencere kaydırma işlevine bakıyorum. Sütun Col1, Col1, Col1, date ile bir veri çerçevem var. Col1 Col2 Col3 date volume new_col 201601 100.5

5ısı

1cevap

Uygun izin ile geçici olarak oluşturulamadı:/mnt1/s3

Aşağıdaki, kabın bir tanesinin günlük dökümüdür. Bir klasör bazı izinlere bağlı oluşturulamaz belirten bir istisna var. Çeşitli zamanlar giderdim ama hala var. 16/12/19 09:44:05 ConfigurationUtils WAR