Override hadoop'un mapreduce.fileoutputcommitter.marksuccessfuljobs içinde oozie

Question

<property> 
<name>mapreduce.fileoutputcommitter.marksuccessfuljobs</name> 
<value>false</value> 
</property> 

Yukarıdaki özelliği geçersiz kılmak istiyorum. Özellik kümedeki işlerin geri kalanı için yanlış olması gerekiyor, ancak işimi tamamladıktan sonra, çıkış dizininde _SUCCESS dosyası oluşturmak için odoyom iş akışımda hadoop'a ihtiyacım var. Çıkışı yazan iş akışındaki bir kovan eylemidir. Lütfen yardım et.

Answer 1

Hive maalesef o kendi NullOutputComitter ayarlayarak bu yeteneği geçersiz kılar:

conf.setOutputCommitter(NullOutputCommitter.class); 

el bayrağı oluşturmak gerekecek gibi

src/shims/src/0.20/java/org/apache/hadoop/hive/shims/Hadoop20Shims.java 
src/shims/src/common-secure/java/org/apache/hadoop/hive/shims/HadoopShimsSecure.java 

görünüyor görüyoruz. Bunun için HIVE-3700 başvurusunda bulunduk.

Answer 2

Aynı sorunu araştırdım ve bayrağı oluşturmak için bir kabuk eylemi kullanarak sona erdim.

İşte tam örnek: http://nathan.vertile.com/blog/2014/09/02/oozie-data-pipeline-done-flag/

Answer 3

Sen

dfs -touchz '$table_base_path'/dt='${partition}'/_SUCCESS

https://archive.cloudera.com/cdh4/cdh/4/hive/language_manual/cli.html