hadoop

6ısı

1cevap

Bir EvalFunc domuzunda bir istisna atmak UDF sadece bu çizgiyi atlayabilir veya tamamen durdurabilir mi?

Bir günlük dosyasındaki satırları ayrıştırmak ve bilgiyi tekrar işleme döndürmek için Java'da yazılmış bir Kullanıcı Tanımlı İşlev (UDF) var, bu yüzden tüm işlemleri yapabilir. Bu şuna benzer: public

6ısı

1cevap

Hadoop projesi için depo organizasyonu

Birden çok dodoop işi olacak yeni bir Hadoop projesinde (ve dolayısıyla birden çok jar dosyası) başlıyorum. Kaynak kontrolü için mercurial kullanarak, depo yapısını organize etmenin en iyi yolu neyin

6ısı

2cevap

Hadoop MapReduce

Harita ile bu algoritmanın uygulanmasında yardıma ihtiyacım var. Büyük bir veri setinden geçecek bazı metin dosyalarını okuyacağım ve bu satırlarda belirli terimleri arayabilecek bir algoritma var. Ja

9ısı

1cevap

Hadoop MapReduce ile Proje Fikri

Birkaç ay sonra Hadoop'u öğrendim ve çok amaçlı bir programlama projesi yapmayı başardım. Hadoop ile küçük - orta ölçekli bir proje veya küçük programlama ödevleri yapmak istiyorum. Etrafta çok fazla

14ısı

1cevap

Hadoop çalışırken OutOfMemoryException nasıl önlenir?

Çok sayıda desen eşleştirmesi yaparak 1,5 TB üzerinde bir Hadoop işi çalıştırıyorum. Her biri 16GB RAM olan birkaç makinem var ve bu işte her zaman OutOfMemoryException'u bu veri ile elde ediyorum (Hi

11ısı

2cevap

Verileri, Apache Mahout

kullanarak sınıflandırın. Basit bir sınıflandırma problemi çözmeye çalışıyorum. Sorun: Bir metin setim var ve bunları içeriğe göre kategorilere ayırmam gerekiyor. Mahout kullanarak çözüm: Modeli oluşt

6ısı

1cevap

Hadoop akışı grep

Grep için Hadoop akışı için çalışıyor gibi görünmemektedir çalışmaz. jar -input /user/root/tmp2/user.data -output/kullanıcı/root/selected_data -mapper '/ bin/grep 1938678460' -kullanıcı 'wc' -jobconf

6ısı

3cevap

Tek bir haritadaki birden fazla metin satırı

Tek bir eşlemede N miktarını göndermek için Hadoop kullanmaya çalışıyorum. Hatların bölünmüş olmasına gerek yok zaten. NLineInputFormat'ı kullanmayı denedim, ancak her satırda bir satırdaki N satırlık

5ısı

4cevap

Sıfır Redüktörler kullanırken Hadoop'tan bireysel olarak sıralanmış Mapper çıktılarını alabilir miyim?

Hadoop 0.20'de büyük dosyalarda, tek seferde çalışması gereken bir iş var. (Dosya tabanlı verileri MapReduce için daha uygun, daha temiz, çizgi tabanlı bir formatta almak için bir ön işlem adımıdır.)

7ısı

3cevap

Devasa bir gece/saatlik Hive/MySQL veri işleme için Spring-Batch

Her gece/saatlik veri özetini ve büyük miktarda veri toplayan istatistikleri gerçekleştiren bir grup Python ETL betiğinin yerini almayı düşünüyorum. Ben başarmak istiyorum ne Bozulmazlık - bir başarıs