apache-spark

10ısı

4cevap

'daki sütunların bir listesi boyunca satır sütunları ekleme Birkaç sütun içeren bir Spark veri çerçevem var. Veritabanına belirli bir sayıda sütunun toplamı olan bir sütun eklemek istiyorum. Örneğin

5ısı

2cevap

Pyspark: cümlede ne zaman birden çok koşul

Şu anda boş olan bir veri çerçevesi sütununun (Age) hücre değerlerini değiştirmek istiyorum ve yalnızca başka bir sütun (Survived) karşılık gelen satır için 0 değerine sahipse bunu yapmak istiyorum Ya

7ısı

2cevap

Okuma Yukarıda HDF'ler için çalışır gibi</p> <pre><code>JavaDStream<String> lines = ssc.textFileStream("hdfs://ip:8020/directory"); </code></pre> <p>kod akışı kıvılcım yoluyla masmavi lekeler gelen verileri okuma sorun yaşıyorum Spark

ile Azure Blob veri, ancak edemiyor Azure blob dosyayı okumak için https://blobstorage.blob.core.windows.net/containerid/folder1/ Üstü masmavi arayüzünde gösterilen yol, ancak bunun iştir, ben bir ş

5ısı

1cevap

Spark

TL göndermek kıvılcımı o kullanarak geçirilir olandan çekirdeklerinin farklı sayısını gösterir; DR Kıvılcım UI ne kullanırken bunu soruyorum kıvılcım gönderin daha çekirdek ve bellek farklı sayısını g

23ısı

1cevap

Amazon EMR, EC2

üzerinde Breeze için yüksek performanslı BLAS/LAPACK nasıl yapılandırılır Kümedeki açıklayıcı veri analizini desteklemek için bir ortam kurmaya çalışıyorum. Orada ne var bir ilk ankete dayanarak hedef

12ısı

2cevap

Veri kümelerine çoklu sütunlarda nasıl katılır?

Verilen iki Spark Veri Setleri, A ve B ı aşağıdaki gibi tek bir sütun üzerinde katılmak yapabilirsiniz: a.joinWith(b, $"a.col" === $"b.col", "left") sorum Birden çok sütun kullanarak katılmak yapabi

14ısı

2cevap

SparkStreaming, pika kullanılarak python'da RabbitMQ ve MQTT

Sadece işleri zorlaştırmak için, rabbitMQ kuyruğundan mesaj almak istiyorum. Şimdi biliyorum tavşan üzerinde MQTT için bir eklenti var (https://www.rabbitmq.com/mqtt.html). Bununla birlikte Spark'in p

21ısı

1cevap

build.sbt: kıvılcım bağımlılıkları nasıl ekleneceğini

aşağıda build.sbt dosyasında spark-core, spark-streaming, twitter4j ve spark-streaming-twitter indirmek için çalışıyorum Merhaba: Ben sadece ben öylesine çevrimiçi bu libraryDependencies aldı name :=

5ısı

3cevap

Programın bellek boyutunu PySpark

programında ayarlayın. Bağımsız bir komut dosyası yazmak için, bir Spark içeriğini doğrudan Python'dan başlatmak ve yapılandırmak istiyorum. PySpark senaryosunu kullanma Birlikte sürücü bellek boyutun

5ısı

1cevap

Spark select-explode deyimi nasıl uygulanır?

Bir dize sütunu, col1 ve bir dizi sütunu col2 olan bir DataFrame'in olduğunu varsayalım. Ben Spark operasyonda perde arkasında neler merak ediyorum: df.select('col1', explode('col2')) O select girdi o