apache-spark-ml

8ısı

2cevap

KIVILCIM, ML, Tuning, CrossValidator: benim boru hattında en iyi parametreleri seçmek için bir CrossValidator kullanıyorum bir NaiveBayes çok sınıflı sınıflandırıcı inşa etmek amacıyla ölçümleri

erişmek: val cv = new CrossValidator() .setEstimator(pipeline) .setEstimatorParamMaps(paramGrid) .setEvaluator(new MulticlassClassificationEvaluator) .setNumFolds(10) val cvM

9ısı

1cevap

Spark ML Lib'deki TF Vector RDD'den kelime detayları nasıl elde edilir?

Spark'de HashingTF kullanarak Dönem Frekansı oluşturdum. Her kelime için tf.transform kullanarak frekans terimleri var. Ancak sonuçlar bu biçimde gösteriliyor. [<hashIndexofHashBucketofWord1>,<hashInd

11ısı

1cevap

PySpark ML'de özel bir Transformatör oluşturun ML

Üründeki Spark SQL DataFrames ve ML için yeni (PySpark). Bir kostüm belirteci nasıl oluşturabilirim, örneğin durma sözcüklerini kaldırır ve nltk'dan bazı kütüphaneleri kullanır? Varsayılan olanı uzata

6ısı

1cevap

ML algoritmaları için DataFrame sütunları nasıl vektör edilir?

, bazı kategorik dize değerlerine sahip bir DataFrame'e sahiptir (örn. Uuid | url | browser). Çift matrisi kabul eden bir ML algoritması yürütmek için onu çift olarak dönüştürürüm. Şimdi mesele i bir

8ısı

2cevap

Apache Spark, eksik özelliklerle karşılaşıldığında NullPointerException'ı atar

Özelliklerde dizelerin sütunlarını indekslerken PySpark ile ilgili bir sorunum var. Ben 'x0' için bir kayıp değere sahip x0,x1,x2,x3 asd2s,1e1e,1.1,0 asd2s,1e1e,0.1,0 ,1e3e,1.2,0 bd34t,1e1e,5.1,1