mapreduce

6ısı

1cevap

Tüm redüktörlerime belirli bir kaydı nasıl gönderebilirim? Partitioner sınıfını ve ne yaptığını biliyorum, ancak kayıtların tüm redüktörlere gittiğinden emin olmanın kolay bir yolunu göremiyorum. Teme

5ısı

3cevap

Override hadoop'un mapreduce.fileoutputcommitter.marksuccessfuljobs içinde oozie

<property> <name>mapreduce.fileoutputcommitter.marksuccessfuljobs</name> <value>false</value> </property> Yukarıdaki özelliği geçersiz kılmak istiyorum. Özellik kümedeki işlerin geri kalanı için

5ısı

1cevap

System from Hbase MapReduce

için kısa metin dosyası okuyun. Metin dosyasından Map Reduce'a veri yüklemem gerekiyor, Günlerce gözümü kırpıyorum ama işim için doğru bir çözüm bulamadım. Bir sistemden bir metin/csv dosyası okuyan v

5ısı

2cevap

MapReduce - Çıkışı nasıl azaltabilirsiniz

Redüktör çıkışını azalan sıraya göre nasıl sıralayabilirim? En çok dinlenen şarkıları döndürmesi gereken bir uygulama geliştiriyorum. Böylece şarkılar dinleme sayısına göre sıralanmalıdır. başvurum bu

5ısı

1cevap

İş günlüklerinden $ {hadoop.tmp.dir} olan symlink'in oluşturulması, hadoop çok düğümlü küme kurulumunda başarısız oldu

3 düğümlü kümelenmiş dosyada basit wordcount örneğini çalıştırdığımda, aşağıdaki hatayı aldım. Gerekli klasörlerin tüm yazma/okuma izinlerini kontrol ettim. Bu hata, haritayı küçültmeyi durdurmaz, anc

5ısı

1cevap

CouchDB's stale = update_after yazılımının performansı nedir?

CouchDB görünüm API'sinin stale=update_after özelliğinin nasıl çalıştığını merak ediyorum. O zamanlar bayat sonuçlar verir ve here görebilirsiniz görünümü günceller: bayat ise = tamam ayarlanır, Couch

6ısı

1cevap

Python'dan bir koşucu için giriş dosyası nasıl belirlenir?

Dizüstü bilgisayarımdaki (Amazon Elastic Compute Cloud veya herhangi bir büyük kümede değil) Python mrjob modülü aracılığıyla bir mapreduce işini çalıştırmak için harici bir komut dosyası yazıyorum. M

6ısı

1cevap

"Map output materialized bytes" vs "map output bytes"

Amdo iş sayaçlarında "Map output materialized bytes" ile "map output bytes" arasındaki fark nedir? Harita çıktısı sıkıştırmasını devre dışı bıraktığımda ilkini göremiyorum, bu yüzden bu sıkıştırılmış

5ısı

4cevap

Sysdate -1 ini al Kovanı

Her zaman Hive yesterdays date anlamına gelir current date -1 almak için herhangi bir yolu var mı? Ve bu formatta - 20120805? Bugün Aug 6th olduğu gibi yesterday's date ilişkin verileri almak için böy

29ısı

1cevap

Map-azaltma performansı MongoDb 2.2, 2.4 ve 2.6

Bu tartışmayı buldum: MongoDB: Terrible MapReduce Performance. Temelde, Mongo'nun MR sorgularını tek iş parçacıklı ve gerçek zamanlı olarak olmaması gerektiği gibi engellemeye çalışmaktadır. 2 yıl geç