hadoop

6ısı

2cevap

Düz metin girişi ve avro çıkışı ile bir mapreduce işi

Harita azaltma ile Avro kullanmak konusunda oldukça kafa karıştırıyorum ve takip edeceğim eğiticileri bulamıyorum. Görünüşe göre AvroJob ve AvroMapper gibi sınıflar, hem giriş hem de çıkış Avro veri d

5ısı

1cevap

Hadoop'un metinden CustomWritable ayrıştırmak nasıl

#userid; unix-timestamp; value 1; 2010-01-01 00:00:00; 10 2; 2010-01-01 00:00:00; 20 1; 2010-01-01 01:00:00; 11 2; 2010-01-01 01:00:00, 21 1; 2010-01-02 00:00:00; 12 2; 2010-01-02 00:00:00; 22

5ısı

1cevap

.deflate dosyalarını indirmek için hadoop fs -getmerge'i nasıl kullanırım?

Ben .deflate dosyaların bir dizin hadoop fs -getmerge çalışan denedim. Sonuç, yerel makinemde sıkıştırılmış dosyadır. Tüm dizini sıkıştırılmamış biçimindeki yerel makinem için indirmenin en kolay yo

6ısı

1cevap

Kovan sorgusunun basit örneği?

Basit bir iş akışını oozie'ye dönüştürmeye çalışıyorum. Oozie örneklerine bakmaya çalıştım ama biraz aşırı ısırıyorlar. Etkili bir şekilde bir sorguyu çalıştırmak ve sonucu bir metin dosyasına gönderm

15ısı

2cevap

İşi aramadaki fark

Bir mapreduce işini main()'dan ve ToolRunner.run() arasındaki fark nedir? Ana dersin, MapReduce extends Configured implements Tool olduğunu söylediğimizde, ana metottan sadece işin basit bir işini yap

7ısı

3cevap

Kırık Boru Hata yaptığımda aşağıdaki gibi

Her şey yerel çalışıyor başarısız olmasına AWS üzerinde akışı Elastik MapReduce işi neden olur başarıyla tamamlandı. mapper.py, yol boyunca ilerliyor (bunu, yol boyunca stderr'a yazdığım için biliyoru

23ısı

4cevap

hadoop: 0 redüktör ve kimlik düşürücü arasındaki fark nedir?

Sadece 0 redüktör ve kimlik redüktör arasındaki farkı anlamama yardımcı olmaya çalışıyorum. 0 redüktör adım atlanır azaltmak ve mapper çıktı dışarı Kimlik düşürücü sonra hala gerçekleşecek sıralama/ka

5ısı

1cevap

Hadoop: Yazılabilir arabirim olmadan çıktı değeri olarak nesneye sahip olmanın kolay yolu

Birden çok modeli eğitmek için hadooptan yararlanmaya çalışıyorum. Verilerim belleğe sığacak kadar küçük olduğundan, her harita görevinde bir model eğitim almak istiyorum. Sorunum benim modeli eğitim

5ısı

3cevap

Sqoop dışa aktarma kimlikleri nasıl kullanılır?

HDFS'de sekmeyle ayrılmış bir metin dosyam var ve bunu bir MySQL tablosuna vermek istiyorum. Metin dosyasındaki satırların sayısal kimlikleri olmadığından, SQL INSERT (otomatikleştirme) sırasında otom

8ısı

3cevap

HBase kabuğunu uzak bir kümeye karşı çalıştırma

İş istasyonumda sözde dağıtılmış modda HBase çalıştırıyorum. Ayrıca bir küme üzerinde çalışan HBase var. HBase kabuğunu kullanarak, iş istasyonumdan kümede çalışan HBase örneğine erişmek istiyorum. Bu