HDFS dosya görüntüleyicisi

Question

dosya görüntüleyicisi varHDFS?

Senaryo: dosya sayısı bir eşiğe ulaşan bir kez Spark İşi başlatmak istiyor dosyaları HDF'ler continuously.I açılış edilmektedir (bu dosyaların dosya sayısı veya boyutu olabilir).

Bunu başarmak için HDFS'ye dosya izleyicisi uygulamak mümkün mü? Evet ise, o zaman herkes bunu yapmanın yolunu önerebilir mi? Farklı seçenekler nelerdir? Hayvan bekçisi veya Oozie bunu yapabilir mi?

Herhangi bir yardım için teşekkür ederiz. Teşekkürler.

Answer 1

Hadoop 2.6, bunun için kullanabileceğiniz DFSInotifyEventInputStream'u kullanıma sunmuştur. Bir örneğini HdfsAdmin'dan alabilir ve tüm olayları almak için .take() veya .poll() numaralı telefonu arayın. Etkinlik türleri, aradığınız şeyi içermesi gereken silme, ekleme ve oluşturma işlemlerini içerir.

İşte temel bir örnek. Yönetici arayüzü HDFS kökü gerektirdiğinden, hdfs kullanıcısı olarak çalıştırdığınızdan emin olun.

public static void main(String[] args) throws IOException, InterruptedException, MissingEventsException 
{ 
    HdfsAdmin admin = new HdfsAdmin(URI.create(args[0]), new Configuration()); 
    DFSInotifyEventInputStream eventStream = admin.getInotifyEventStream(); 
    while(true) { 
     EventBatch events = eventStream.take(); 
     for(Event event : events.getEvents()) { 
      System.out.println("event type = " + event.getEventType()); 
      switch(event.getEventType()) { 
       case CREATE: 
        CreateEvent createEvent = (CreateEvent) event; 
        System.out.println(" path = " + createEvent.getPath()); 
        break; 
       default: 
        break; 
      } 
     } 
    } 
} 

Burada daha ayrıntılı olarak kapsayan bir blog yazısı var:

http://johnjianfang.blogspot.com/2015/03/hdfs-6634-inotify-in-hdfs.html?m=1

Answer 2

Evet, Inotification ile yapabilirsiniz. Bu link'u daha iyi anlamak için HDFS işleminin ayrıntılarını inotifyier ile almanız yeterlidir.

Answer 3

Oozie koordinatörü bunu yapabilir. Oozie koordinatör eylemleri, veri kullanılabilirliğine bağlı olarak tetiklenebilir. Bir veri tetiklenen koordinatörü yazın. Koordinatör eylemleri, yapılan bayrağa göre tetiklenir. bitti-bayrak boş bir dosyadan başka bir şey değildir. Böylece eşiğinize ulaştığınızda dizine boş bir dosya yazın.