Bir Scikit Verme Hadoop Platformunda Kullanmak için Rastgele Orman Öğrenin

Question

Pandalar ve scikit kullanarak bir spam sınıflandırıcı geliştirdim, bu programa, todoop tabanlı sistemimize entegrasyon için hazır olduğu noktaya kadar. Bu amaçla, sınıflandırıcımı dekapajtan daha yaygın bir biçime aktarmam gerekiyor.

Öngörülü Model İşaretleme Dili (PMML) tercih edilen dışa aktarma biçimimdir. Halihazırda kullandığımız Cascading ile son derece iyi oynar. Ancak, şaşırtıcı bir şekilde scikit-öğrenen modelleri PMML'ye aktaran herhangi bir python kütüphanesi bulamıyorum.

Bu kullanım durumu konusunda tecrübesi olan var mı? PMIC'ye scikit-learn ve hadoop arasında birlikte işlerlik kazandıracak herhangi bir alternatif var mı? Katı bir PMML ihracat kütüphanesine ne dersiniz?

Answer 1

Modeli PMML'ye dışa aktarmak ve JPMML-Cascading kullanarak Hadoop'ta değerlendirmek için Py2PMML kullanabilirsiniz. JPMML açık kaynak ancak Zementis'in Py2PMML'i ticari bir ürün gibi görünüyor. Bu alternatifin yanı sıra, Java/Hadoop'ta PMML olarak ihraç edilen Scikit modellerini puanlamak için başka araç yoktur. Çekirdek scikit ekibi, bir PMML ihracatçısı uygulamak için planning'dur. Eğer herhangi bir ticari çözümler istiyor ya da bu tür bir araç için beklemek yoksa Ama yine de bazı seçenekler var uygulanmaktadır ancak bazı kodlama gerektirir edilecek: Java/MapReduce kodu oluşturur yerine C. böylece

• projeyi uyarlayın
• export_graphviz işlevini kullanarak her karar ağacının DOT temsilini elde edin ve küçük bir Java yorumlayıcısı yazın.
• Java ve Hadoop'u unutun, Apache Spark'i kullanın ve Python, Scikit ve PySpark'ı kullanarak karar ağaçlarının her birini paralel olarak değerlendirin.

Umut eder!