Hive'de "Alter Table/Partition Concatenate" SQL'in üretme dosyaları nasıl azaltılır?

Question

Kovan sürümü: 1.2.1

Yapılandırma:

set hive.execution.engine=tez; 
set hive.merge.mapredfiles=true; 
set hive.merge.smallfiles.avgsize=256000000; 
set hive.merge.tezfiles=true; 

HQL:

ALTER TABLE `table_name` PARTITION (partion_name1 = 'val1', partion_name2='val2', partion_name3='val3', partion_name4='val4') CONCATENATE; 

Belirli tablo/bölümünün dosyaları birleştirmek için HQL kullanın. Ancak, yürütme işleminden sonra çıkış dizininde hala birçok dosya var; ve boyutları 256000000'den daha azdır. Böylece çıkış dosyalarının sayısını nasıl azaltabilirsiniz.

BTW, Tez yerine MapReduce kullanın, ayrıca çalışmadı.

Answer 1

Redüktör numaranızı 1'e ayarlayabilirsiniz, daha sonra sadece bir çıkış dosyası oluşturur.

Aşağıdakiler ile yapabilirsiniz;

set mapred.reduce.tasks=1 

Answer 2

Belki u insert overwrite table ... partition (...) select * from ...

Bu seferki tezfiles ayarı birleştirme kullanabilirsiniz deneyebilirsiniz.