2016-03-29 19 views
0

'u desteklemek için değiştirilmiş bir hadoop yapılandırma dosyası kullanarak oozie işini çalıştır Merhaba Merhaba, S3 grubumdaki bir dosyayı cp komutunu kullanarak HDFS'ye kopyalamaya çalışıyorum. gibi bir şey yapıyorum Hadoop --config config fs -cp s3a: // yol hadooppath Bu, benim yerel benim içinde olduğunda iyi çalışır. Ancak şimdi bir oozie işi olarak ayarlamaya çalışıyorum. Bu yüzden, şimdi yerel sistemimde config dizininde bulunan konfigürasyon dosyalarını geçemediğimde. HDFS'de olsa bile, yine de işe yaramaz. Baska öneri ?S3 - HDFS

Hadoop'ta -D komutunu denedim ve ad ve değer çiftlerini geçirdim, yine de bazı hatalar atıyor. Sadece yerel sistemimden çalışır.

+0

Yığın Taşması'na Hoş Geldiniz! Stackoverflow'a Hoş Geldiniz! Sorunuzu, kod ya da başka bir şey gibi bir çabaya sahip olarak hazırlayabilir misiniz? Böylece, insanlar sorununuzu erkenden alabilir ve size yardımcı olabilir mi? Teşekkürler! – manetsus

cevap

0

Oozie'de DISTCP'u denediniz mi? Hadoop 2.7.2, S3 veri kaynağını destekleyecek. Bunu koordinatörlerle planlayabilirsiniz. Sadece RESTAPI veya Properties dosyalarında koordinatörlere kimlik bilgilerini ayrıştırın. Bir verinin periyodik olarak kopyalanmasının kolay yolu (Planlı bir şekilde).

${HADOOP_HOME}/bin/hadoop distcp s3://<source>/ hdfs://<destination>/