mrjob

5ısı

1cevap

Tüm dosyaları tek bir dizinin altında nasıl kaldırabilirim? Mrjob

Bir dosya kümesini işlemek ve bazı istatistikler almak için mrjob kullanıyorum. Ben python count.py <some_input_file> output gibi tek dosya üzerinde mapreduce işi çalıştırabilirsiniz biliyorum Ama n

python hadoop mrjob 2012-12-07

---

6ısı

2cevap

Ben mrjob kullanarak bir harita işlevi yazıyorum Nasıl MRjob

giriş dosyasının adını alır. Girişim HDFS'deki bir dizindeki dosyalardan gelecek. Dosya adlarında, dosyalarda bulunmayan küçük ancak önemli bir parça bilgisi bulunur. Belirli bir anahtar-değer çiftini

python hadoop hadoop-streaming mrjob 2012-07-11

---

12ısı

2cevap

mrjob: Geçersiz bootstrap eylem yolu, Amazon S3

'da bir konum olmalıdır. Windows 7'deyim. Mrjob yükledim ve web sitesinden example word_count file'u çalıştırdığımda, yerel makinede iyi çalışıyor. Ancak, Amazon EMR'de çalıştırmaya çalışırken hata al

python amazon-emr mrjob 2014-04-22

---

9ısı

2cevap

Amazon Elastic ile Numpy ve Scipy MapReduce

Amazon'un Elastic MapReduce üzerinde python kodunu çalıştırmak için mrjob kullanarak EMR görüntüsünün numpy ve scipy'lerini yükseltmenin bir yolunu başarıyla buldum. konsoldan Koşu aşağıdaki komutlar:

python numpy scipy mrjob 2011-11-11

---

6ısı

2cevap

Python Bağımlılık Yönetimi EMR üzerinde

amazon EMR'lerine mrjob/boto modülleri üzerinden kod gönderiyorum. Bazı harici python bağımlılıkları (örneğin, numpy, boto, vb) var ve şu anda python paketlerinin kaynağını indirmek ve mrjob.config do

python virtualenv pip elastic-map-reduce mrjob 2013-07-09

---

6ısı

1cevap

Python'dan bir koşucu için giriş dosyası nasıl belirlenir?

Dizüstü bilgisayarımdaki (Amazon Elastic Compute Cloud veya herhangi bir büyük kümede değil) Python mrjob modülü aracılığıyla bir mapreduce işini çalıştırmak için harici bir komut dosyası yazıyorum. M

python mapreduce mrjob 2012-09-24

---