Elastic MapReduce API'yi kullanarak bir adımda Hadoop'a nasıl birden fazla iş gönderebilirim?

Question

Amazon EMR Documentation to add steps to cluster, tek bir Elastic MapReduce adımının Hadoop'a birkaç iş gönderebileceğini söylüyor. Ancak, Amazon EMR Documentation for Step configuration, tek bir adımın yalnızca bir yürütme işleminin gerçekleştirilebileceğini önerir (yani, HadoopJarStep, bir HadoopJarStepConfigs dizisinden ziyade bir HadoopJarStepConfig'dir).

Bir adımda Hadoop'a birkaç iş göndermek için uygun sözdizimi nedir? Amazon EMR Documentation gibi

Answer 1

bir adımda ana örneğinde bazı senaryoyu my_script.sh çalıştırmak için bir küme oluşturabilir, diyor ki:

aws emr create-cluster --name "Test cluster" --ami-version 3.11 --use-default-roles 
    --ec2-attributes KeyName=myKey --instance-type m3.xlarge --instance count 3 
    --steps Type=CUSTOM_JAR,Name=CustomJAR,ActionOnFailure=CONTINUE,Jar=s3://elasticmapreduce/libs/script-runner/script-runner.jar,Args=["s3://mybucket/script-path/my_script.sh"] 

my_script.sh böyle bir şey görünmelidir:

#!/usr/bin/env bash 

hadoop jar my_first_step.jar [mainClass] args... & 
hadoop jar my_second_step.jar [mainClass] args... & 
. 
. 
. 
wait 

Bu şekilde, Aynı adımda Hadoop'a birden çok iş gönderilir --- ancak maalesef EMR arayüzü bunları izleyemez. Bunu yapmak için, Hadoop web arayüzlerini here veya ana örneğe ssh gösterildiği gibi kullanmanız ve mapred job ile araştırmanız gerekir.