spark-streaming

1ısı

1cevap

Spark: Hangi aşamada başarısız olan orijinal veriler nasıl alınır?

Kıvılcım işlenirken bir istisna söz konusu olduğunda, aşağıdaki logda görebildiğimiz gibi üç kez daha tekrar işlemeye çalışır. Ardından, Sahne Alanı başarısız olarak işaretler. Aşamanın daha sonra ana

0ısı

1cevap

kıvılcım akışı Ben sürekli Hadoop klasöründen akışlarını oku My programı akışı kıvılcım kullanıyorum

"mv" "cp" hem de çalışır hayranlarıyla benim Hadoop klasöründe (Hadoop fs için kopyalarsanız sorun var mı -copyFromLocal) kıvılcım işi başlar ama eğer hareket edersem (hadoop fs -mv/hadoopsourcePath/*

1ısı

1cevap

Spark scala'daki kafka kanalından okuma olaylarını okumak?

Merhaba teneke olayları tutmak için teneke ve kanal olarak Kafka kullanarak cloudera flume agent kullanıyorum. Kafka kanal etkinliğinde yazılan etkinliğin yapısı (başlıklar Json Tweets) şu şekildedir:

0ısı

1cevap

Kıvılcım özel seri hale getirici ben olarak tanımlanan özel kıvılcım seri hale kullanmaya çalışıyorum

ClassNotFound yol açar: ("spark.serializer", CustomSparkSerializer.class.getCanonicalName()) conf.set; Ama infaz env oluşturma, örneğin zaman ClassNotFoundException konuyu bakan değilim Spark için baş

2ısı

1cevap

Kafka Spark'de tüketici grubu nasıl belirtilir? Doğrudan akış kullanarak akış yapma

Doğrudan akış API'si kullanarak kafka kıvılcımı akışı için tüketici grubu kimliği nasıl belirtilir. Yapılandırmayı belirttiğim bir şey eksik olup olmadığından emin olmamama rağmen . kullanarak 1.11 ka

5ısı

1cevap

nasıl Pyspark Akış modülü kullanarak RabbitMQ tüketiciyi uygulamak?

Ben bir Apache Kıvılcım küme ve RabbitMQ komisyoncu var ve mesajları tüketmek ve pyspark.streaming modülünü kullanarak bazı ölçümleri hesaplamak istiyorum. sorun sadece this package buldum, ama Java v

1ısı

1cevap

kafka DirectStream dstream haritası

Ben bu basit Kafka Akış Kafka iletiler val messages = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topicsSet) // Each Kafka message is a flight val

1ısı

1cevap

Scala and Spark: CreateStream sırasında hata

Hata: Scala ve Twitter4j kullanarak Spark'de bir tweet akışı oluştururken. Aşağıda benim kod pasajı edilir: scala> val ssc = new StreamingContext(sc, Seconds(10)) scala> val cb = new ConfigurationBui

7ısı

2cevap

Okuma Yukarıda HDF'ler için çalışır gibi <pre><code>JavaDStream<String> lines = ssc.textFileStream("hdfs://ip:8020/directory"); </code></pre> kod akışı kıvılcım yoluyla masmavi lekeler gelen verileri okuma sorun yaşıyorum Spark

ile Azure Blob veri, ancak edemiyor Azure blob dosyayı okumak için https://blobstorage.blob.core.windows.net/containerid/folder1/ Üstü masmavi arayüzünde gösterilen yol, ancak bunun iştir, ben bir ş

21ısı

1cevap

build.sbt: kıvılcım bağımlılıkları nasıl ekleneceğini

aşağıda build.sbt dosyasında spark-core, spark-streaming, twitter4j ve spark-streaming-twitter indirmek için çalışıyorum Merhaba: Ben sadece ben öylesine çevrimiçi bu libraryDependencies aldı name :=