Apache Spark ile önyüklemiş 3 düğümlü bir AWS ElasticMapReduce küme yerleştirdim. Benim yerel makinede, ben SSH ile ana düğümünü erişebilirsiniz: Bir kez ana düğüm haline ssh'dPySpark'ı (yerel makine) EMR kümeme nasıl bağlarım?
ssh -i <key> [email protected] , ben pyspark aracılığıyla PySparkerişebilirsiniz. Ayrıca, (her ne kadar güvensiz olsa da) ana düğümün güvenlik grubunu, yerel makinenin IP adresinden özellikle 7077 numaralı bağlantı noktasından TCP trafiğini kabul edecek şekilde yapılandırdım.
MASTER=spark://ec2-master-node-public-address:7077 ./bin/pyspark
istisna bir dizi Yukarıdaki komut sonuçları sağlamak ve SparkContext nesnesini başlatamadı için PySpark neden olur:
Ancak, ben hala benim kümeye benim yerel PySpark örneğini bağlanamıyorum .
Yukarıda anlattığım gibi uzak bir bağlantıyı nasıl başarıyla oluşturacağımı bilen var mı?
Lütfen nedenini açıklayabilir misiniz? Bunu yapmak isterdim, ancak bu yaklaşım işe yaramazsa neden yapamadığımı açıklayabilmeli. – thebigdog
Kesinlikle oy vermemeye aldırış etmiyorum ama cevabın geçerli olduğunu düşündüğümde en az yorumda bulunma hakkına sahip olmalısın ... – eliasah
Bu eğlenceli olmaya başlıyor ... Cevap hoşunuza gitmiyor ve reddediyor musun? Geçerli bir cevap! – eliasah