apache-spark

5ısı

2cevap

pyspark içinde bir veri çerçevesinden çiftleri kaldırmak

Ben yerel olarak pyspark 1.4 içinde dataframes ile uğraşıyorum ve sorunları çözmek için çift kopyalar yöntemi alma sorunları yaşıyorum. "AttributeError: 'listesindeki' nesnenin özniteliği yoktur 'drop

7ısı

3cevap

Spark'da Spark DataFrame'i Oluşturun JSON'dan Mesaj Aktarılıyor

Scala'da Spark Streaming uygulamasının bir kafka konusundan JSON Strings'i alıp bir veri çerçevesine yüklemek istediğim bir uygulama üzerinde çalışıyorum. Spark'in şemaya kendi başına bir RDD'den (Str

5ısı

1cevap

Kıvılcım RDD kontrol noktası Ben kodu çalıştırdığınızda aşağıdaki gibi iki kere

DAG performans - RDD'yi yansıtan ve önbelleğe alan farklı + sayım için bir kez ve daha sonra da kontrol edilen kopyasını oluşturmak için tamamen İKİNCİ bir süre. RDD halihazırda gerçekleştiğinden ve ö

5ısı

1cevap

Spark-shell/pyspark'ta bir RDD parçacığı nasıl yazdırılır?

Kıvılcım kabuğunda çalışırken, sıklıkla RDD'leri incelemek istiyorum (unix'te head kullanımına benzer). Bu (here) nasıl öğrendim ve bu diğer kullanıcılar için faydalı, işte paylaşımı olacak düşünce sc

5ısı

3cevap

Ayrıştırma tarih saat Zeppelin, CSV bilgi ve

CSV dosyasını okumak ve veri çerçevesini oluşturmak için çalışıyorum Spark. darbe gibi CSV biçimi. Veri/zaman dizisi gösterimi için ISO8602 tarih/saat formatını kullandım. 2015-6-29T12:0:0,b82debd63cf

7ısı

2cevap

Bir kıvılcım akışı içeriğinde HDFS'ye bir RDD yazın

Yerel bir klasörden veri aldığım ve her dönüşümü gerçekleştirdiğim klasöre yeni bir dosya bulduğum kıvılcım 1.2.0 ile kıvılcım akışı ortamım var. DStream verilere benim analizi gerçekleştirmek amacıyl

7ısı

1cevap

Hata: - Bu Talimatı (ve yorumlarda bütün tavsiyelerde) izleyin, ben ipython Notebook Apache Spark çalıştırmayı

ipython dizüstü - birincil kaynak (JAR veya Python veya R dosyası) belirtilmelidir link Ama ne zaman Bu komutla ipython Notebook çalıştırın: ipython notebook --profile=pyspark bu hatayı alıyorum: Er

7ısı

4cevap

SparkR'de sparkR.init hatası (master = "local") RStudio

SparkR paketinden Spark dağıtımı R kütüphanesine yükledim. Aşağıdaki mesaj ile bir süre sonra başarısız sc <- sparkR.init(master="local") , library(SparkR) Ancak, aşağıdaki kodu kullanarak Kıvılcım

7ısı

1cevap

İplik-küme modundaki Pyspark

Spark-submit komut dosyasını kullanmadan pyspark betiklerini iplik küme modlarıyla çalıştırmanın bir yolu var mı? Bu şekilde buna ihtiyacım var çünkü bu kodu bir django web uygulamasına entegre edeceğ

6ısı

1cevap

ilişkisi

RDD'leri ve çeşitli dönüşümlerin bölümlerden nasıl etkilendiğini ve bazı dönüşümlerin bölümleri nasıl etkilediğini okudum. Bunu anladığım kadarıyla, bunun, birden çok düğümün olduğu bir kümede nasıl u