Kümemi Apache Spark ile birlikte başlatmak için çevrimiçi AWS konsolunu kullandım. Kıvılcım uygulamasına dayanan bir şişman kavanoza sahibim ve bunu bir S3 Kepçe'ye yükledim. Step with a Custom Jar
olarak göndermeye çalıştığımda, işlem başarısız oluyor. Herhangi bir işaretçi büyük takdir edilecektir.EMR kümesine nasıl bir Spark jar gönderirim?
6
A
cevap
2
Kullanım EMR bootstrap to install Spark ve belgelerinde açıklandığı şekilde işini gönderin: https://github.com/awslabs/emr-bootstrap-actions/blob/master/spark/examples/spark-submit-via-step.md
Teşekkür girişiniz için. Ancak, aws-cli çıktılarımda herhangi bir adım-adım yöntemi yoktur. Ruby müşterisini kullanmalı mıyım? – dataker
Belge, şu yönteme sahip olan varsayılan aws klibini kullanır: http://docs.aws.amazon.com/cli/latest/reference/emr/index.html CLI'nizde bulunan alternatif komutu kullanabilirsiniz. Varsa veya varsayılan CLI uygulamasının en son sürümüne güncelleyin. –
Anladım! Çok teşekkürler – dataker