hadoop

7ısı

1cevap

Birden çok Map-Reduce işinin zincirlenmesine yardımcı olmak için gelişmiş bir iş denetimi çerçevesi uygulayarak ortalama nedir?

Ben Hadoop oldukça yeni ve şu anda ile ilgili bir proje tahsis edilmiş "zincir birden Harita-azaltın işler/araştırmak org.apache.hadoop.mapred mevcut geliştirmek yani yardımcı olmak için gelişmiş iş k

6ısı

1cevap

Hadoop ClassNotFoundException MapClass ile ilgili

ClassNotFoundExceptions, "İş jar dosyası dosyası yok" ve Hadoop ile ilgili birçok soru görüyorum. Çoğu, konfigürasyonda setJarByClass yönteminin (JobConf veya Job kullanarak) eksikliğine işaret eder.

6ısı

2cevap

MRUnit

ile çoklu çıkışların test edilmesi MultipleOutputFormat'u kullanan birden fazla çıktı dosyasına yazmak için MRUnit ile bir azaltma sınıfını test etmenin bir yolu var mı?

12ısı

2cevap

SafeModeException: Ad düğümü güvenli modda

Yerel diskimdeki dosyaları kopyalamayı denedim hdfs. İlk başta SafeModeException verdi. Çözüm ararken, aynı komutun tekrar çalıştırılması durumunda sorunun görünmediğini okudum. Bu yüzden tekrar dened

6ısı

2cevap

CDH4 ikincil adı düğümü başlatılamıyor: NameNode adresi

için geçersiz URI Bir CDH4 hadoop yüklemeyi kurmaya çalışıyorum. 12 makinem var, hadoop01 - hadoop12 etiketli ve adenode, iş izleyici ve tüm veri düğümleri iyi başladı. Ben dfshealth.jsp görüntüleyebi

5ısı

1cevap

Tüm dosyaları tek bir dizinin altında nasıl kaldırabilirim? Mrjob

Bir dosya kümesini işlemek ve bazı istatistikler almak için mrjob kullanıyorum. Ben python count.py <some_input_file> output gibi tek dosya üzerinde mapreduce işi çalıştırabilirsiniz biliyorum Ama n

8ısı

1cevap

CopyFromLocal anahtarını kullanarak verileri hdfs'ye taşıma

Burada neler olduğunu bilmiyorum ancak yerel dosya sistemimdeki bir dizinden basit bir dosyayı, hdfs için belirtilen dizine kopyalamaya çalışıyorum. Ben aşağıdaki komutu kullanıyorum <name>dfs.data.di

6ısı

1cevap

hadoop haritadaki InstantiationException programı azaltın

Hadoop altyapısında yeniyim. XML dosyasını XML dosyasından okuyan, JDOM kullanarak ayrıştırıp bir veritabanına gönderen bir program yazmaya çalışıyordum. Aşağıdaki Java dosyası package JDOMprs; impo

6ısı

2cevap

Hadoop PIG Maksimum Tuple

Pig 'da bir tuple'ın MAX'u nasıl bulabilirim? A,20 B,10 C,40 D,5 data = LOAD 'myData.txt' USING PigStorage(',') AS key, value; all = GROUP data ALL; maxKey = FOREACH all GENERATE MAX(data.value

6ısı

1cevap

HIVE - gruba göre gruplama işlevi

Sonuç kümemde neden her bir f0, MONTH, DAY, HOUR, MINUTE grup için sayı alamadığımı söyleyen var mı? Sonuç grubu: sorgu: SELECT t.f0, MONTH(TO_DATE(Hex2Dec(t.f2))), DAY(TO_DATE(Hex2Dec(t.f2))), HOUR(T