flume

5ısı

1cevap

Kanalet ajan - Ben gzip veya bz2 gibi sıkıştırma belirtebilirsiniz?

veri sıkıştırılmış formatta toplayıcı aktarılır, böylece bir oluklu madde üzerinde bir sıkıştırma seçeneği belirtmek mümkün mü? Ben kollektör düzeyde kompresyon seçenek vardır biliyorum, ama aynı zama

5ısı

1cevap

Impala - dosya bulunamadı hata

Ben filest ile flume ile impala kullanıyorum. Arka Ucu 0: problem, impala sorguları aşağıdaki iletiyle başarısız oluyor silindiğinde kanalet sonra uzatma .tmp ile geçici dosyaları ekleyerek ve olmasıd

0ısı

1cevap

Kaynak: yerel dosyadan yerel dosyaya kopyalama için kaynak yolu ve türü.

Bazı günlük dosyalarını local'dan HDFS'a flume-ng kullanarak kopyalamaya çalışıyorum. source, /home/cloudera/flume/weblogs/ ve sink, hdfs://localhost:8020/flume/dump/'dur. Bir cron işi, tomcat sunucus

0ısı

1cevap

Art arda 2048 karakter sonra satır besleme ekleme

Çeşitli aygıtlardan günlükleri toplayan ve günlükleri çok uzun satırlarla virgülle ayrılmış bir dosyaya yeniden biçimlendiren bir Ubuntu iş istasyonunda çalışan bir Flume 1.5 aracısı var. Günlüklerin

9ısı

4cevap

Apache flume nasıl kurulur ve yapılandırılır?

Apache Flume'da yeni. Flumeyi HDFS küme ortamının üstüne yüklemem gerekiyor. Google'ı yaptım, hepsi cloudera dağıtımını kullanıyor ama kaynaktan yüklemem ve yapılandırmam gerekiyor. Bu yüzden, lütfen

5ısı

1cevap

Yerel dosya sistemini Flume kaynağı olarak kullanma

Büyük Veri'yi yeni öğrenmeye başladım ve şu anda Flume üzerinde çalışıyorum. Karşılaştığım yaygın örnek, bazı Java'ları kullanarak tweet'leri (Cloudera'dan örnek) işlemek içindir. Sadece test ve simül

5ısı

2cevap

Flume-ng null olayı için özel Sink

Flume-ng için özel bir havuz yazmayı deniyorum. Mevcut lavabolara ve belgelere baktım ve kod yazdım. Bununla birlikte, olayları alması beklenen 'process()' yöntemi her zaman null ile biter. Olay etkin