apache-spark-ml

3ısı

1cevap

Değişken adları, boru hattından sonra özelliklerle eşleme nasıl yapılır

Bir LogisticRegression öğesinin gerçekte eğitilmesi için OneHotEncoder örneğini değiştirdim. Sorum şu: oluşturulan ağırlıkları kategorik değişkenlere nasıl eşleştirmeli? def oneHotEncoderExample(sqlCo

0ısı

1cevap

ChiSqSelector'da NoSuchElementException fit yöntemi (sürüm 1.6.0)

Bana pek bir anlam ifade etmeyen bir hatayla karşılaşıyorum ve web'de kendim yanıtlamak için yeterli bilgi bulamadım. (String, ArrayBuffer [String]) çiftlerinin bir listesini oluşturmak için kod yazdı

0ısı

1cevap

Paralel boru hattı nasıl yapılır?

Spark v.1.6.0'da aslında çeşitli işlevleri bir araya getiren bir scala uygulaması oluşturdum. Belirli girişler için bir veri çerçevesini taramak için kodum var, bir dataframe üzerinde belirli bir hesa

4ısı

1cevap

RandomForestClassifier (spark.ml-version) tarafından oluşturulan modelde tek tek ağaçlara nasıl erişilir?

Spark ML's RandomForestClassifier tarafından üretilen modelde tek tek ağaçlara erişim nasıl sağlanır? RandomForestClassifier'ın Scala sürümünü kullanıyorum.

0ısı

2cevap

Kıvılcım kabuğu kullanarak kendi scala paketi nasıl içe aktarılır?

Bundan başka bir sınıf kullanan bir spark-ml kitaplığı için bir sınıf yazdım. Net olmak gerekirse, sınıfım RandomForestClassifier için bir sarıcıdır. Şimdi bu sınıfı kıvılcım kabuklarından ithal etme

5ısı

2cevap

benim pyspark Sıra nesnesi Verilen Vector

içine türünü dönüştürülemez: Ancak >>> row Row(clicked=0, features=SparseVector(7, {0: 1.0, 3: 1.0, 6: 0.752})) >>> row.clicked 0 >>> row.features SparseVector(7, {0: 1.0, 3: 1.0, 6: 0.752}) >>>

5ısı

1cevap

Nasıl org.apache.spark.mllib.linalg.VectorUDT için ml.linalg.VectorUDT dönüştürebilirsiniz

Spark cluster 2.0 kullanıyorum ve ben org.apache.spark.mllib.linalg.VectorUDT için org.apache.spark.ml.linalg.VectorUDT bir vektör dönüştürmek istiyorum. # Import LinearRegression class from pyspark.

8ısı

1cevap

Spark ML rastgele ormandan sınıfa karşılık gelen olasılıklar nasıl elde edilir

Makine öğrenimi görevleri için org.apache.spark.ml.Pipeline'ı kullanıyorum. Öngörülen bir etiket yerine gerçek olasılıkları bilmek özellikle önemlidir ve bunu elde etmekte güçlük çekiyorum. Burada ras

6ısı

1cevap

Bir Spark DataFrame'deki VectorUDT sütununun öğesine nasıl erişilir?

features adında bir VectorUDT sütununa sahip bir df veri karegim var. İlk eleman diyelim, sütunun bir elemanını nasıl alabilirim? aşağıdaki from pyspark.sql.functions import udf first_elem_udf = udf(

5ısı

1cevap

Naive Bayes modeli için BinaryClassificationMetrics değerlendirmesinde tahmin edilen ve etiket sütunları nasıl verilir

BinaryClassificationMetrics (Mllib) girişleriyle ilgili bir karışıklık var. Apache Spark 1.6.0 uyarınca, tahmin edilen, olasılık (vektör) & rawPrediction (vektör) olan dönüştürülmüş DataFrame'den (RDD