Doğrudan akış API'si kullanarak kafka kıvılcımı akışı için tüketici grubu kimliği nasıl belirtilir. Yapılandırmayı belirttiğim bir şey eksik olup olmadığından emin olmamama rağmen . kullanarak 1.11Kafka Spark'de tüketici grubu nasıl belirtilir? Doğrudan akış kullanarak akış yapma
kafkaParams.put("group.id", "app1");
Doğrudan akış API'si düşük seviyeli Kafka API'sini kullanır ve bu nedenle de yine de tüketici gruplarını kullanmaz. Tüketici gruplarını Spark Streaming ile kullanmak istiyorsanız, alıcı tabanlı API'yi kullanmanız gerekir.
Verileri doğrudan akış API'sini kullanarak birden çok uygulama ile kullanabileceğim miyim? Her bir uygulamada herhangi bir veri kaybı olmadan? –
Tam olarak yaptığınız gibi olmalıdır. –
Bir şey eksik mi emin değilim? Lütfen belirli bir soru sorun. Bir şey gibi ben X kütüphanesini Z kullanarak elde etmek için X çalıştı ama stacktrace S * ile istisna E var StackOverflow uygun. –
@DebosmitRay Tüketici grubunu belirtmek için kıvılcım kafka doğrudan akışını kullanarak "group.id" denedim. Herhangi bir istisna alamıyorum, ancak bunun createDirectStream API yöntemini kullanırken tüketici grubunu belirtmenin doğru yolunun olup olmadığını öğrenmek istiyorum. Şimdi yardımcı olur mu ??? –