nedeniyle olabilir CDH dağıtımı (sürüm 5.6.0) Impala (sürüm 2.4.0) ile çalıştırıyorum.Cloudera Impala: Dosyanın geçersiz bir sürümü var. Bu, eski meta veriler
HDFS'de saklanan bazı Parke dosyalarım var. Tüm dosyalar başarıyla listelenir aşağıdaki sorguyu yürütme sonrasında
create external table parquetTable
like parquet 'hdfs://cloudera-impala-mn0.eastus.cloudapp.azure.com:8020/user/root/big_data/part-r-00015-66cf01ca-ffee-4a62-b2c3-c09177ec4bd7.gz.parquet'
stored as parquet location 'hdfs://cloudera-impala-mn0.eastus.cloudapp.azure.com:8020/user/root/big_data/;
: Sonra, ben şu sorgu ile bir Impala dış tabloya bu dosyaları yüklediğiniz Ayrıca
[cloudera-impala-dn0.eastus.cloudapp.azure.com:21000] > show files in parquettable;
, meta (doğrudur describe parquettable çalıştırılarak kontrol edildi.
tablonun istatistik şunlardır:
[cloudera-impala-dn0.eastus.cloudapp.azure.com:21000] > show table stats parquettable;
Rows | Files | Size | Bytes Cached | Cache Replication | Format | Incremental stats | Location
-1 | 838 | 249.64GB | NOT CACHED | NOT CACHED | PARQUET | false | hdfs://cloudera-impala-mn0.eastus.cloudapp.azure.com:8020/user/root/big_data
aşağıdaki sorgu yapıldığında: Aşağıdaki UYARI içinde
[cloudera-impala-dn0.eastus.cloudapp.azure.com:21000] > select count(*) from parquettable;
sonuçlar, ancak herhangi bir çıkış sonuç veya hatasız:
File 'hdfs://cloudera-impala-mn0.eastus.cloudapp.azure.com:8020/user/root/big_data/part-r-00001-7c29b85c-bd1f-420e-8834-96300076a92d.gz.parquet' has an invalid version number: ▒.F/ This could be due to stale metadata. Try running "refresh default.parquettable".
Çalışan refresh default.parquettable hiçbir etkisi olmamıştır.
Herhangi bir yardım için teşekkür ederiz!
Impala shell'de "invalidate metadata" komutunu çalıştırmayı ve sorguyu tekrar denemeyi deneyebilir misiniz? – Lan
@Lan Ben de denedim ama hala başarı yok. Uyarı mesajı aynı kalır ve çıkış olmaz. –
Parke bazlı masa nasıl oluşturulur? – Lan