Tüm kıvılcım boyunca kıvılcım iletimi ile bir kıvılcım işinin çalıştırılması

Question

Kısa süre önce Amazon emrinde 1 master ve 2 slave içeren bir Spark kümesi oluşturdum.

pyspark'u çalıştırabilir ve spark-submit numaralı işleri gönderebilirim.

sc=SparkContext("local", "App Name") 

Bu doğru görünmüyor, ama orada koymak için emin değilim: Ben tek başına bir işi oluştururken

Ancak, job.py gibi, ben şöyle bir SparkContext oluşturmak. İşi teslim ettiğimde, tüm kümeyi kullanmıyor olduğundan eminim. Benim tüm kümenin karşı bir iş çalıştırmak isterseniz

, ben

zorunda ne köle başına 4 süreçleri, derler.) spark-submit

b argümanlar olarak geçmektedir.) Argüman olarak geçmesi Komut dosyasında SparkContext().

Answer 1

Sen

conf = SparkConf().setAppName(appName) 
sc = SparkContext(conf=conf) 

kullanarak kıvılcım bağlamı oluşturabilir

ve Mesos küme için kıvılcım bağımsız küme

./bin/spark-submit --master spark://<sparkMasterIP>:7077 code.py 

için aşağıdaki komutu kullanarak spark-submit programı göndermek zorunda

./bin/spark-submit --master mesos://207.184.161.138:7077 code.py 

YARN kümesi için

./bin/spark-submit --master yarn --deploy-mode cluster code.py 

YARN master için, yapılandırma HADOOP_CONF_DIR adresinden okunabilir.