hadoop

6ısı

1cevap

"Map output materialized bytes" vs "map output bytes"

Amdo iş sayaçlarında "Map output materialized bytes" ile "map output bytes" arasındaki fark nedir? Harita çıktısı sıkıştırmasını devre dışı bıraktığımda ilkini göremiyorum, bu yüzden bu sıkıştırılmış

7ısı

1cevap

Hadoop HDFS

İçinde var mı ln -s hadoop HDFS içinde var mı? Örneğin : Ben HDF'ler başka dir /user/hadoop/test /user/hadoop/input/1.txt/user/hadoop/test/1.txt ila istiyorum sadece kopya 1 dosyasıdır 1.txt, 2.txt ..

8ısı

1cevap

Hadoop - textouputformat.separator kullanımı ctrlA (^ A)

Azaltılmış çıktı dosyalarında, Anahtar ve Değer arasındaki ayırıcı olarak^A kullanmayı deniyorum. Ben yapılandırma ayarı "mapred.textoutputformat.separator" ne istiyorum olduğunu buldum ve bu doğru ay

6ısı

1cevap

BiDirectional Dijkstras ve A * Algoritmalar

MapReduce'da BiDirectional Djikstras ve A * algoritmalarını uygulamak istedim. MapReduce'ta Djikstras'ı uygulamayı çoktan bitirdim. Aynı şey için uygulamalardan herhangi birinin gelip gelmediğini mera

6ısı

2cevap

Tek bir dosyayı kopyalamak için Amazon EMR ile s3distcp kullanma

Sadece bir dosyayı s3distcp kullanarak HDFS'ye kopyalamak istiyorum. SrcPattern argümanını kullanmayı denedim ama yardımcı olmadı ve java.lang.Runtime istisnasını atmaya devam ediyor. Kullanmakta oldu

9ısı

1cevap

hdfs dosyasında dosya yolu

Dosyayı Hadoop Dosya Sisteminden okumak istiyorum. Dosyanın doğru yolunu elde etmek için, hdfs'un ana makine adı ve bağlantı noktası adresine ihtiyacım var. 9000: böylece nihayet dosyanın Benim yolum

8ısı

2cevap

Yerel sistemden dizini hdfs java koduna kopyalama

Yerel sistemimden bir dizini java kodu kullanarak HDFS'ye kopyalamaya çalışırken sorun yaşıyorum. Tek tek dosyaları taşıyabiliyorum, ancak tüm dizini alt klasörler ve dosyalar ile taşımanın bir yolunu

7ısı

2cevap

Hadoop HADOOP_CLASSPATH sayıları

Bu soru, çalışanların kullanması için tüm kümedeki kavanozların dağıtımı anlamına gelmez. İstemci makinede bir dizi ek kitaplığın belirtilmesiyle ilgilidir. Daha spesifik olmak gerekirse: Bir Sequence

5ısı

3cevap

Override hadoop'un mapreduce.fileoutputcommitter.marksuccessfuljobs içinde oozie

<property> <name>mapreduce.fileoutputcommitter.marksuccessfuljobs</name> <value>false</value> </property> Yukarıdaki özelliği geçersiz kılmak istiyorum. Özellik kümedeki işlerin geri kalanı için

9ısı

1cevap

Domuz, nasıl sonra alanı belirten bir katılmak ve bir grup ı Pig Bu kodu var

tarafından (kazan, istek ve yanıt sadece tabloları dosya sisteminin doğrudan yüklenen vardır): win_request = JOIN win BY bid_id, request BY bid_id; win_request_response = JOIN win_request BY win.bid_