spark-streaming

5ısı

1cevap

Bir cassandra tablosundan veri akışı nasıl yapılır?

Gerçek zamanlı olarak güncellenen bir cassandra tablosundan veri akışı yapmak istiyorum. Evet, bir veri tabanı ama bunu yapmanın bir yolu var mı? Eğer öyleyse, bir ofset tutmak veya hangi CQL sorgular

cassandra streaming spark-streaming spring-xd bigdata 2016-02-29

---

5ısı

1cevap

"java.io.IOException: Sınıf bulunamadı" uzun süreli Akış uygulamasında

Uzun süren bir Spark Akışı uygulamasında aşağıdaki istisnaları alıyorum. İstisna birkaç dakika sonra ortaya çıkabilir, ancak günler için de olmayabilir. Bu oldukça tutarlı giriş verileriyle. this Jira

apache-spark spark-streaming 2016-01-28

---

1ısı

2cevap

Spark'deki mevcut RDD'ye nasıl RDD eklenir?

Bir RDD'm var ve ona daha fazla RDD eklemek istiyorum. Spark’de bunu nasıl yapabilirim? Aşağıda kodum var. RDD'yi sahip olduğum dStream'den geri almak istiyorum. JavaDStream<Object> newDStream = dStre

java apache-spark spark-streaming 2016-03-21

---

2ısı

1cevap

Ben sürekli veri bir dış kaynaktan cassandra yazıldığını gelmiş

akışı kıvılcımla cassandra en yeni verileri aktarın. val cassandraRDD = ssc.cassandraTable("keyspace2", "feeds") tüm tablo verilerini alır: val ssc = new StreamingContext(sc, Seconds(5)) val cassand

scala apache-spark cassandra spark-streaming bigdata 2016-03-21

---

1ısı

1cevap

SaveAsNewAPIHadoopFile

Kullanırken dosyanın üzerine yazılır Spark Spark için Spark 1.4 kullanıyoruz. Kafka, Spark Stream için veri kaynağıdır. Kayıtlar her saniye Kafka'da yayınlanmaktadır. Bizim ihtiyacımız Kafka'da yayınl

apache-spark spark-streaming 2016-03-22

---

0ısı

1cevap

Kıvılcım Akış Şeması

SparkFlumeEvents akışı göz önüne alındığında (veya söylemek, herhangi DStream) akışı stream.saveToCassandra(keyspace,table) Saf bir girişimi ile Cassandra kaydedilebilir böylece uygun bir şemaya bir

apache-spark cassandra spark-streaming 2016-03-22

---

1ısı

1cevap

Kıvılcım mezos küme modu, yerel moddan daha yavaş

Yerel ve orta küme modunu kullanarak aynı jaru çalıştırmak için gönderin. Ve tam olarak aynı aşamalar için bulundu, yerel mod sadece birkaç milisaniye bitirir, ancak küme modu saniye sürecektir! 659 K

scala apache-spark spark-streaming mesos 2016-03-22

---

1ısı

1cevap

Spark üzerinden Aktarım SQL - ArrayIndexOutOfBoundsException

Akışta bir SQL sorgusu başlatmak için aşağıdaki koda sahibim. Sorunum, sonuçlardan birinin ArrayIndexOutOfBoundsException olduğunu gösteriyor. Bu neden oluyor? import org.apache.spark._ import org.ap

apache-spark apache-spark-sql spark-streaming spark-dataframe 2016-03-23

---

5ısı

1cevap

java.lang.UnsupportedOperationException: 'Boş olmayan bir Cassandra Tablosuna yazma izin verilmiyor

Akış programım tarafından işlenen akış verisini alacağım senaryo var ve her aralığın çıktılarıma ekleniyor. mevcut cassandra tablosu. Şu anda bu kıvılcım akışı programım, cassandra masamda kaydetmem g

apache-spark cassandra apache-spark-sql spark-streaming datastax-enterprise 2016-02-11

---

12ısı

1cevap

DStreams için kıvılcım akış kontrol noktaları

Spark Streaming'de StreamingContext denetim noktalarını güvenilir bir veri deposuna (S3, HDFS, ...) yapabilecek şekilde ayarlamak mümkündür (ve zorunlu işlemler kullanacaksanız zorunludur). AND): Meta

apache-spark spark-streaming checkpointing 2015-12-31

---