apache-spark-mllib

7ısı

1cevap

Spark MLLib'in ALS programını kullanarak öneri sistemi oluşturmaya çalışıyorum. Şu anda, günlük olarak tüm kullanıcılar için ön öneriler oluşturmaya çalışıyoruz. Basit örtülü geri bildirimler ve ALS k

11ısı

4cevap

Ben PySpark ve MLlib kullanarak Spark 1.3.0 ile çalışıyorum Kıvılcım \ PySpark

yılında \ yük modellerini kaydetmek için sağ yolu nedir ve ben kaydetmek ve benim modellerini yüklemeniz gerekir. Ben model0 kullanmayı deneyin sonra ben bu ile biten bir uzun Traceback olsun (resmi d

12ısı

2cevap

MLlib ile DataFrame Kullanma

Diyelim ki bir DataFrame'im var (HDFS'de bir csv'den okuduğum) ve MLlib üzerinden bazı algoritmalar geliştirmek istiyorum. Satırları LabeledPoints'e nasıl dönüştürebilirim veya bu veri kümesinde MLlib

9ısı

1cevap

Spark ML Lib'deki TF Vector RDD'den kelime detayları nasıl elde edilir?

Spark'de HashingTF kullanarak Dönem Frekansı oluşturdum. Her kelime için tf.transform kullanarak frekans terimleri var. Ancak sonuçlar bu biçimde gösteriliyor. [<hashIndexofHashBucketofWord1>,<hashInd

6ısı

1cevap

ML algoritmaları için DataFrame sütunları nasıl vektör edilir?

, bazı kategorik dize değerlerine sahip bir DataFrame'e sahiptir (örn. Uuid | url | browser). Çift matrisi kabul eden bir ML algoritması yürütmek için onu çift olarak dönüştürürüm. Şimdi mesele i bir

5ısı

1cevap

Spark MLlib: her veri grubu için bina sınıflandırıcıları

Bazı grup numaralarına göre etiketlenmiş vektörleri (LabeledPoint-ler) etiketledim. Her grup için ben ayrı Lojistik Regresyon sınıflandırıcı oluşturmak gerekir: import org.apache.log4j.{Level, Logger}

11ısı

1cevap

MatrixFactoryizationModel

Uygun kaydetme/yükleme MatrixFactorizationModel nesnesine sahibim. Ürünleri ALS.train (...) üzerinden model oluşturduktan hemen sonra tek bir kullanıcıya önermeye çalışıyorum, o zaman (veri ve donanım

8ısı

1cevap

Apache Spark: Bir DataFrame'den bir matris nasıl oluşturulur?

Apache Spark'de bir dizi tamsayıya sahip bir DataFrame'im var, kaynak bir dizi resim. Sonuçta PCA yapmak istiyorum ama dizilerimden sadece bir matris oluşturmakta sorun yaşıyorum. RDD'den nasıl matris

13ısı

2cevap

DataFrame'den RDD'ye [LabeledPoint]

Apache Spark MLlib kullanarak bir belge sınıflandırıcısı uygulamaya çalışıyorum ve verileri temsil eden bazı sorunlar yaşıyorum. import org.apache.spark.sql.{Row, SQLContext} import org.apache.spark.