Spark'da kullanmak için xgboost modülü nasıl dağıtılır?

Question

pyspark'ta önceden hazırlanmış bir xgboost sınıflandırıcı kullanmak istiyorum, ancak kümedeki düğümler xgboost modülünün yüklü olmadığını gösteriyor. Eğitim aldığım ve yayınladığım sınıflandırıcıyı seçebilirim ancak bu, her bir küme düğümüne yüklenecek olan modüle hala ihtiyacım olduğu için yeterli değil.

Kök olmadığından ve paylaşılan dosya sistemi olmadığından küme düğümlerine yükleyemiyorum.

Spark'da kullanım için xgboost sınıflandırıcısını nasıl dağıtabilirim?

---

Ben xgboost için bir yumurta var. http://apache-spark-user-list.1001560.n3.nabble.com/Loading-Python-libraries-into-Spark-td7059.html veya https://stackoverflow.com/a/24686708/2179021 gibi bir şey işe yarayabilir mi?

Answer 1

Bu konuyu açıklayan Cloudera'dan gerçekten iyi bir blog post var. Tüm krediler onlara gider.

Ancak sorunuzu kısa sürede yanıtlamak için - hayır, bu mümkün değil. Karmaşık 3. taraf bağımlılığının, kümenizin her bir düğümüne yüklenmesi ve düzgün şekilde yapılandırılması gerekir. Basit modüller/bağımlılıklar için, bir *.egg, *.zip veya *.py dosyaları oluşturabilir ve bunları spark-submit içinde --py-files bayrağıyla kümeye sağlayabilirsiniz. düşük seviye olan -

Ancak xgboost bir değil sadece diğer Python paketleri büyük ölçüde bağlıdır sayısal paket, aynı zamanda belirli C++ kütüphane/derleyici. Küme için derlenmiş kod tedarik edecekseniz, farklı donanım mimarisinden kaynaklanan hatalarla karşılaşabilirsiniz. Kümelerin genellikle donanım açısından heterojen olduğu gerçeğini eklemek, böyle bir şey yapmak çok kötü bir şey olurdu.