apache-spark

17ısı

1cevap

Spark: Dataframe API'sının sayımı (ayrı (değer))

Verilerimi birleştirmenin farklı yollarını karşılaştırmaya çalışıyorum. Bu kod ile Spark SQL içine bir SQL komutu ile çalışma (PAG1,V1) (PAG1,V1) (PAG2,V1) (PAG2,V2) (PAG2,V1) (PAG1,V1) (PAG1,V2

count apache-spark distinct dataframe apache-spark-sql 2015-05-13

---

26ısı

2cevap

Spark Dataframe

'daki işlevli yeni sütun oluşturun Spark'deki yeni veri alanı API'sini bulmaya çalışıyorum. ileriye doğru iyi bir adım gibi görünüyor ama oldukça basit olması gereken bir şey yapmakta zorlanıyor. 2 sü

scala apache-spark dataframe 2015-05-13

---

5ısı

1cevap

Tüm Apache Spark yürütücüsü kayıtlarını alın

Tüm uygulama günlüklerini Spark uygulama sürücüsünde programlı olarak toplamak istiyorum. (Bir şey başarısız olduğunda, tüm ilgili günlükleri toplamak ve saklamak istiyorum.) Bunu yapmak için iyi bir

apache-spark 2015-05-14

---

6ısı

2cevap

RDD bölümlerini kendi dizinindeki bağımsız parke dosyalarına yazmak

Her RDD bölümünü, kendi dizini ile parke dosyasını ayırmak için yazmak istediğim adımlarla mücadele ediyorum. Örnek olacak: bu biçimin <root> <entity=entity1> <year=2015> <week=45

scala apache-spark apache-spark-sql rdd parquet 2015-05-20

---

6ısı

1cevap

Spark DataFrame: Gruplarda çalıştır

Çalıştığım DataFrame'im var ve bir dizi sütunla gruplamak ve sütunların geri kalanında grup başına işlem yapmak istiyorum. DataFrame yılında rdd.map(tup => ((tup._1, tup._2, tup._3), tup)). group

scala dataframe apache-spark grouping 2015-05-20

---

6ısı

2cevap

Spark SQL DataFrame'i flatMap ile nasıl kullanılır?

Spark Scala API'sini kullanıyorum. root |-- ids: array (nullable = true) | |-- element: map (containsNull = true) | | |-- key: integer | | |-- value: string (valueContainsNull = true) |-- match:

scala apache-spark apache-spark-sql 2015-05-21

---

13ısı

2cevap

Websphere MQ, Apache Spark Streaming için bir veri kaynağı olarak

Websphere MQ'nin, kıvılcım akışına yönelik bir veri kaynağı olarak, kullanım durumumuzun birisinde ihtiyaç duyulan olasılıkları araştırıyordum. MQTT'un MQ veri yapıları arasındaki iletişimi destekleye

apache-spark ibm-mq spark-streaming 2015-05-25

---

6ısı

2cevap

kıvılcım-akış ve bağlantı havuzu uygulaması

https://spark.apache.org/docs/latest/streaming-programming-guide.html#output-operations-on-dstreams de kıvılcım-akış web sitesi şu kodu bahseder: dstream.foreachRDD { rdd => rdd.foreachPartition

apache-spark spark-streaming 2015-05-26

---

5ısı

2cevap

Spark Streaming'de sipariş işleme

Spark Streaming'de sıralı işlemeyi uygulamak mümkün mü? Bizim kullanım durumumuz Kafka'dan, her konunun sırayla işlenmesi gereken olayları okumaktır. Bunun mümkün olduğunu söyleyebildiğimden - RDD'ler

apache-spark spark-streaming 2015-06-04

---

12ısı

1cevap

Python Spark Dataframes: Grupları metin dosyasına dışa aktarmanın daha iyi bir yolu

Verileri ayrı metin dosyalarına vermek istiyorum; Bu kesmek ile yapabilirsiniz: for r in sqlContext.sql("SELECT DISTINCT FIPS FROM MY_DF").map(lambda r: r.FIPS).collect(): sqlContext.sql("SELECT

python apache-spark dataframe 2015-06-05

---