mrjob: Geçersiz bootstrap eylem yolu, Amazon S3

Question

'da bir konum olmalıdır. Windows 7'deyim. Mrjob yükledim ve web sitesinden example word_count file'u çalıştırdığımda, yerel makinede iyi çalışıyor. Ancak, Amazon EMR'de çalıştırmaya çalışırken hata alıyorum. Hatta sadece s3 ile amazon s3'e bağlanmayı test ettim ve işe yarıyor.

mrjob.conf dosyası

runners: 
    emr: 
    aws_access_key_id: xxxxxxxxxxxxx 
    aws_region: us-east-1 
    aws_secret_access_key: xxxxxxxx 
    ec2_key_pair: bzy 
    ec2_key_pair_file: C:\aa.pem 
    ec2_instance_type: m1.small 
    num_ec2_instances: 3 
    s3_log_uri: s3://myunique/ 
    s3_scratch_uri: s3://myunique/ 

çalışan benim cmd aşağıdaki

python word_count.py -c mrjob.conf -r emr mytext.txt 

o, bu yolu ile ilgili konu bir windows olduğu önerileri üzerine

üretir Kaynak kodda parse.py dosyasını iki kez kontrol ettim ve msn

# Used to check if the candidate candidate uri is actually a local windows path. 
WINPATH_RE = re.compile(r"^[aA-zZ]:\\") 


def is_windows_path(uri): 
    """Return True if *uri* is a windows path.""" 
    if WINPATH_RE.match(uri): 
     return True 
    else: 
     return False 


def is_uri(uri): 
    """Return True if *uri* is any sort of URI.""" 
    if is_windows_path(uri): 
     return False 

    return bool(urlparse(uri).scheme) 

Ne anlamıyorum bile hala güncellenen kodundan sonra hata alıyorum yani, ben ilerleme sağlaması emin değilim pencere dosya türleri ile başa çıkmak için, ilgili kontrol etmesi için bu.

Answer 1

Yaşadığınız sorunlar, yolundaki çıkış karakterini \ (ters eğik çizgi) kullanarak Windows dosya sisteminden kaynaklanmaktadır. Sadece ikiye katla ve daha fazla sorun yaşamamalısın. ziyaret go fazla bilgi için

runners: 
    emr: 
    aws_access_key_id: xxxxxxxxxxxxx 
    aws_region: us-east-1 
    aws_secret_access_key: xxxxxxxx 
    ec2_key_pair: bzy 
    ec2_key_pair_file: C:\\aa.pem 
    ec2_instance_type: m1.small 
    num_ec2_instances: 3 
    s3_log_uri: s3://myunique/ 
    s3_scratch_uri: s3://myunique/ 

:

için mrjob.conf dosyasını değiştirin

http://yaml.org/spec/1.2/spec.html#id2770814

Answer 2

Ben benzer bir sorun yaşıyordu ve benim sorunu Çeşitli kodu dahil ettiğini olduğu bulundu işimin içinde dosya yolları olan dosyalar. Bu durumda, belirtilen hata da meydana gelecektir.