amazon-emr

7ısı

3cevap

Otomatik AWS DynamoDB - S3 dışa aktarma başarısız "role/DataPipelineDefaultRole geçersiz"

this page üzerindeki adım adım yönergeleri izleyerek, DynamoDB tablolarımdan birinin içeriğini bir S3 grubuna aktarmaya çalışıyorum. Ben tam olarak belirtildiği gibi bir boru hattı oluşturuyorum, anca

6ısı

1cevap

Amazon Elastic'te girdi olarak birden fazla dosya MapReduce

Özel bir jar ile Elastic MapReduce (EMR) üzerinde bir iş çalıştırmaya çalışıyorum. Tek bir dizinde 1000 dosya hakkında işlem yapmaya çalışıyorum. İşimi s3n://bucketname/compressed/*.xml.gz parametresi

12ısı

2cevap

mrjob: Geçersiz bootstrap eylem yolu, Amazon S3

'da bir konum olmalıdır. Windows 7'deyim. Mrjob yükledim ve web sitesinden example word_count file'u çalıştırdığımda, yerel makinede iyi çalışıyor. Ancak, Amazon EMR'de çalıştırmaya çalışırken hata al

5ısı

1cevap

nasıl bir EMR işin girdi olarak RedShift sorgu çıktısını kullanılır?

Sınırlı Redshift anlayışım bu benim sorunumla ilgili planım ... Bir sorgunun sonuçlarını almak ve bir EMR işi için giriş olarak kullanmak istiyorum. Bu programatik olarak gitmenin en iyi yolu nedir? a

9ısı

1cevap

hdfs dosyasında dosya yolu

Dosyayı Hadoop Dosya Sisteminden okumak istiyorum. Dosyanın doğru yolunu elde etmek için, hdfs'un ana makine adı ve bağlantı noktası adresine ihtiyacım var. 9000: böylece nihayet dosyanın Benim yolum