hadoop

8ısı

3cevap

Hadoop Mapreduce Programının çıktısını program aracılığıyla okumak

Bu temel bir soru olabilir, ancak Google’da bunun için bir yanıt bulamadım. Çıkış dizininde birden çok çıktı dosyası oluşturan bir harita küçültme işim var. Java uygulamam bu işi uzak bir çalışan dizi

7ısı

1cevap

Mahout'u dolaşım kümesine dağıtma

Mahout'un K-Means örneğini 5 makineden oluşan bir veritabanı kümesinde çalıştırmak istiyorum. K-Means'in dağıtılmış bir şekilde yürütülmesi için hangi Mahout jar dosyalarını tüm düğümlerde tutmam gere

6ısı

1cevap

Hive

'da saklanan veriler üzerinde Domuz sorgusu çalıştırılıyor Kovan formatında depolanan Domuz sorgularının nasıl çalıştırılacağını öğrenmek istiyorum. Sıkıştırılmış verileri depolamak için Hive'yi yapıl

8ısı

1cevap

Pig, Hadoop Globs'u bir 'load' ifadesinde nasıl kullanıyor?

noted previously yüklediğim gibi, Pig boş (0 bayt) dosyalarla iyi başa çıkmıyor. Ne yazık ki, bu dosyaların oluşturulmasının birçok yolu vardır (hatta within Hadoop utilitities). Bu soruna geçici olar

5ısı

1cevap

Hesaplama kesişimi ve hadoop ile iki dosyanın kayıtlarının farkını ayarlama

Bunu hadoop kullanıcı posta listesine çapraz gönderme konusunda üzgünüm ve bu benim için acil bir konu oluyor. aşağıdaki gibi Benim sorundur: Ben iki giriş dosyaları var ve ben belirlemek istiyorum a)

5ısı

1cevap

HDFS, dosyanın hala açık olduğunu, ancak işlemin yazıldığı tarihte

öldürülmüştüm hadoop için yeni durumdayım ve geçen birkaç saati bu konuyla ilgilenmeye çalıştım, ancak yardımcı olan hiçbir şey bulamadım. Benim sorunum HDFS'nin, dosyaya yazma işleminin uzun süre ölm

6ısı

5cevap

Hadoop

ile büyük boyutlu küçük dosyaların işlenmesi Hadoop örnek programı WordCount kullanarak büyük boyutlu küçük dosya/web sayfalarını (cca. 2-3 kB) işlemek için kullanıyorum. Bu, hadoop dosyaları için en

5ısı

1cevap

Bu Hadoop dosya sistemi yükleme hatasını nasıl çözebilirim?

Hadoop'u Cloudera Ubuntu olmayan bir test görüntüsüne yüklemeye çalışıyorum. Her şey ben ./bin/start-all.sh koştu kadar iyi gidiyor gibi görünüyor. İsim düğümü asla çıkmıyor, bu yüzden dosya sistemine

6ısı

3cevap

MDX desteği Hive (Hadoop)

Hadoop'un Hive için Çok Boyutlu İfadeler (MDX) desteği var mı?

6ısı

2cevap

Sıkıştırılmış bz2 (bzip2) nasıl okunur? Wikipedia dump'lar hadoop haritası için akış xml kayıt okuyucusunu azaltır

Hadoop Map Reduce kullanarak wikipedia veri döküntüleri üzerinde araştırma yapmak için çalışıyorum (bz2 formatında sıkıştırılmış). Bu çöplükler çok büyük olduğu için (5 T), xml verilerini HDFS'ye açam