Bazı günlük dosyalarını local'dan HDFS'a flume-ng kullanarak kopyalamaya çalışıyorum. source, /home/cloudera/flume/weblogs/ ve sink, hdfs://localhost:8020/flume/dump/'dur. Bir cron işi, tomcat sunucus
Herkese merhaba ve bunu okumak için şimdiden teşekkür ederim :) Hadoop kümemde Spark ile işlemek için bir JSON nesnesi göndermeye çalışıyorum, bu JSON yaklaşık 15KB. Benim kanalet ajan bu şekilde ayar
Merhaba teneke olayları tutmak için teneke ve kanal olarak Kafka kullanarak cloudera flume agent kullanıyorum. Kafka kanal etkinliğinde yazılan etkinliğin yapısı (başlıklar Json Tweets) şu şekildedir: