hadoop-streaming

5ısı

3cevap

Hadoop üzerinde Python Kodunu Running ben bu sayfadaki talimatları takip etmeye çalıştık

Başarısız: http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/ $bin/hadoop jar contrib/streaming/hadoop-streaming-1.0.4.jar -input /user/root/wordcountpythontxt -outpu

6ısı

2cevap

Ben mrjob kullanarak bir harita işlevi yazıyorum Nasıl MRjob

giriş dosyasının adını alır. Girişim HDFS'deki bir dizindeki dosyalardan gelecek. Dosya adlarında, dosyalarda bulunmayan küçük ancak önemli bir parça bilgisi bulunur. Belirli bir anahtar-değer çiftini

7ısı

1cevap

Python Hadoop akışı: Ayar bir işin adı

kullanıyorum benim küme üzerinde çalışan bir iş var Hadoop-akışı nasıl geçebilir, Ben bir iş adı eklemek istediğiniz yeni bir işe başlamak zorunda Bir iş adı kurmak için komut satırı veya dosyadaki bu

14ısı

1cevap

Elastic MapReduce API'yi kullanarak bir adımda Hadoop'a nasıl birden fazla iş gönderebilirim?

Amazon EMR Documentation to add steps to cluster, tek bir Elastic MapReduce adımının Hadoop'a birkaç iş gönderebileceğini söylüyor. Ancak, Amazon EMR Documentation for Step configuration, tek bir adım

12ısı

1cevap

C# ve Mono ile Hadoop akışı: Yanlış kullanılan IdentityMapper

C# ile yazılmış mapper ve indirici yürütülebilir dosyaları var. Bunları Hadoop akışı ile kullanmak istiyorum. Bu Bu, her haritacının karşılaşılan hatadır hadoop jar $HADOOP_HOME/contrib/streaming/hado

0ısı

1cevap

Hadoop'un MapReduce Akışında bölünmüş büyüklük bir çizgiye eşit olarak nasıl ayarlanır?

Hedef: her düğüm, matrisin bir kopyasını sahip, matris okur eşleyicisinde (matrisin, anahtar) üzerinden bazı değerini hesaplar ve < anahtar, değerini yayar > Ben, mapper kullanmaya çalışıyor akış yolu

0ısı

1cevap

Birden çok eşleştiricinin sonucunu Hadoop'taki Reducer dizinine göre toplama

MR programımın girdisi olarak birden çok büyük dosyam var (yaklaşık 500MB). Bu dosyaları eşit büyüklükteki bölümlere bölüyorum (bölüyorum). eşleştiricisindeki Anahtar = (dosya adı, partition_number) v

5ısı

1cevap

AWS Emr'de Mxnet başarısızken Hadoop akış işi

AWS veri yolunda bir emr adımı ayarlıyorum. adım komut şuna benzer: /usr/lib/hadoop-mapreduce/hadoop-streaming.jar,-input,s3n://input-bucket/input-file,-output,s3://output/output-dir,-mapper,/bin/cat,

5ısı

1cevap

Hadoop Yapılandırma Hatası

Halo uygulamamı başlatmaya çalışıyorum, ancak başlangıçta bunu günlük dosyalarında görüyorum, sorunun ne olduğu konusunda bir ipucu var mı? HDF'ler için oluşturma dosya sistemi: //10.170.4.141: 9000 j

5ısı

2cevap

Akış çerçeveler, parke dosya biçimleri

mu Hadoop akışı ORC ve parke gibi yeni sütunlu depolama biçimlerini destekleyen ya da bu tür formatlarını okuyabilir Hadoop'un üstünde var çerçeveler vardır?