spark-streaming

5ısı

1cevap

Spark Streaming - ikili veri dosyasını işliyor

pyspark 1.6.0 kullanıyorum. AWS S3 grubundan ikili veri dosyasını okumak için pyspark kodum var. Diğer Kıvılcım/Python kodları, verideki bitleri int, string, boolean ve vs'ye dönüştürmek için ayrıştır

pyspark spark-streaming 2016-06-29

---

6ısı

1cevap

Spark Streaming uygulamasını nasıl çalıştıracaksınız?

Kıvılcımı nasıl engellerim? Kıvılcım akışı işim sürekli çalışıyor. Zarif bir şekilde durmak istiyorum. Akış uygulamasını kapatmak için aşağıdaki seçeneği gördüm. sparkConf.set("spark.streaming.stopGra

apache-spark spark-streaming 2016-10-12

---

10ısı

1cevap

Spark Akış İşi kurtarılamıyor

İlk RDD ile mapWithState kullanan bir kıvılcım akışı işini kullanıyorum. Uygulamayı yeniden başlatırken ve denetim noktasından kurtarılırken hatayla başarısız olur: Bu RDD bir SparkContext'den yoksund

apache-spark spark-streaming 2017-06-23

---

5ısı

1cevap

Serializable Değil istisna okuma Kafka Spark Spark 2.0 kullanılarak Kafka gelen Akış sırasında aşağıdaki hatayı alıyorum

Akış ile kaydeder: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0.0 in stage 1.0 (TID 1) had a not serializable result: org.apache.kafka.clients.consumer.ConsumerRecord

apache-spark apache-kafka spark-streaming 2016-09-03

---

9ısı

2cevap

Özel kaynak/batık yapılandırmalar tanınmıyor

Spark akışımı uygulamam için özel metrikleri kaynağım/havuzumu yazdım ve metrics.properties'ten başlatmaya çalışıyorum - ancak bu, yürütücülerden çalışmaz. Spark kümesindeki makinelerde denetimim yok,

apache-spark spark-streaming 2016-09-06

---

7ısı

1cevap

Kafka ile akıcılık akışı - createDirectStream vs createStream

Bir süredir kafka ile kıvılcım akışı kullanıyorduk ve şu ana kadar KafkaUtils'dan createStream yöntemini kullanıyorduk. bölümleri RDD için 1) Daha iyi/daha kolay "yalnızca bir kez" semantik 2) kafka k

apache-spark apache-kafka spark-streaming 2016-07-19

---

5ısı

1cevap

Kıvılcım: 2.0.2 java.util.ConcurrentModificationException: KafkaConsumer çok kanallı erişim

Ben kafka 0.10.1.0 ile hata altına alma ve kıvılcım am için güvenli değildir 2.0.2 private val spark = SparkSession.builder() .master("local[*]") .appName(job.name) .config("spark.cassandra.connect

apache-spark apache-kafka spark-streaming 2016-12-20

---

6ısı

1cevap

Kafka Direct Stream her mesaj için neden yeni bir kod çözücü yaratıyor?

Java ile yazılmış ve Spark 2.1 kullanan bir Spark akış uygulamasına sahibim. Kafka'nın mesajlarını okumak için KafkaUtils.createDirectStream kullanıyorum. Kafka mesajları için kryo encoder/decoder kul

java apache-spark apache-kafka spark-streaming kryo 2017-12-15

---

8ısı

2cevap

nasıl "org.apache.kafka.clients.consumer.ConsumerRecord java.io.NotSerializableException" düzeltmek için?

Spark 2.0.0 Apache Kafka 0.10.1.0 scala Ben şu istisna ile başarısız aşağıdaki Scala koduyla spark streaming and kafka integration with kafka broker version 0.10.1.0 kullanmak 2.11.8 : Neden 16/11/13

apache-spark serialization apache-kafka spark-streaming 2016-11-13

---

5ısı

1cevap

Can SparkContext ve StreamingContext aynı programda bulunabilir mi?

Kafka sunucusundan satır okuyan, ancak başka bir yerel dosyada yazılmış kuralları kullanarak işleyen bir Sparkstreaming kodu oluşturmaya çalışıyorum. Sadece edebilir vb yerel dosyaları val sparkConf =

scala apache-spark spark-streaming 2016-11-16

---