Hadoop'u AWS4-HMAC-SHA256 ile kullanabilir miyim?

Question

Yeni oluşturduğum kepçem AWS Signature Version 4 kullanıyor. Ben Hadoop kullanmaya çalışınca ve mesaj alıyorum: Hadoop Amazon S3 sayfasında bu hiç bahsedilmez

Exception in thread "main" org.apache.hadoop.fs.s3.S3Exception: 
org.jets3t.service.S3ServiceException: S3 GET failed for '/' XML Error Message: 
<?xml version="1.0" encoding="UTF-8"?> 
<Error> 
<Code>InvalidRequest</Code> 
<Message>The authorization mechanism you have provided is not supported. 
     Please use AWS4-HMAC-SHA256.</Message> 
</Error> 

bu. Hadoop şimdi S3 ile uyumsuz mu, yoksa bir yapılandırma seçeneğini mi özledim?

suggested on the SDK page'da önerildiği gibi -Dcom.amazonaws.services.s3.enableV4 eklemeyi denedim, hayır şans. Hadoop'un Amazon SDK'sını kullanmadığını düşünüyorum.

FWIW Apache Spark kullanıyorum ama Hadoop kullanıyor.

DÜZENLEMEK: this Jira ticket bulundu.

Answer 1

Muhtemelen çalışmayan s3n ile veri almaya çalışıyorsunuzdur. S3A geçin ve son nokta eklemeyi unutma:

hdfs dfs -Dfs.s3a.awsAccessKeyId=<access key ID> -Dfs.s3a.awsSecretAccessKey=<secret acces key> -Dfs.s3a.endpoint=<s3 enpoint> -ls s3a://<bucket_name>/... 

uç noktaları burada bulabilirsiniz: http://docs.aws.amazon.com/general/latest/gr/rande.html#s3_region