apache-spark-mllib

-1ısı

1cevap

MaxIterations ve MLlib KMeans içinde çalıştırmak arasındaki fark?

run parametresini anladığım kadarıyla, en iyi kümeleri almak için KMeans'in yinelenme sayısı ve maxIterations her run numaralı yineleme sayısıdır, doğru mu? 5000 veri noktası olması durumunda onlar iç

0ısı

1cevap

boyut uyumsuzluğu hatası kullanılarak Kıvılcım/MLLib kmeans aşağıdaki biçimde bir giriş dosyası var

: 1, 4, 5, 0, 3 0, 4, 5, 1, 4 ..... Ben dosyayı yüklenir ve Means eğitimli ve şimdi KMeansModel verilen tahmin işlevi kullanmak istiyorum ama Boyut uyuşmazlığı hatası alıyorum ve hata ayıklama hak

0ısı

1cevap

ChiSqSelector'da NoSuchElementException fit yöntemi (sürüm 1.6.0)

Bana pek bir anlam ifade etmeyen bir hatayla karşılaşıyorum ve web'de kendim yanıtlamak için yeterli bilgi bulamadım. (String, ArrayBuffer [String]) çiftlerinin bir listesini oluşturmak için kod yazdı

2ısı

1cevap

PySpark - ALS çıkışında DataFrame için RDD

Spark'un öneri sistemini kullanıyorum. trenin bir modeli sonra, (2) Bu durumda Rec yılında [(10000, (Rating(user=10000, product=14780773, rating=7.35695469892999e-05), Rating(user=10000, produc

0ısı

1cevap

MLLib spark -ALStrainImplicit değeri 1'den fazla

Şimdi bir süre için Spark mllib ALS ("trainImplicit") ile deney yapın. 1.Kan tahminlerde 1'den fazla derecelendirme değeri alıyorum? 2. Kullanıcı ürünü girdisini normalleştirme ihtiyacı var mı? örnek

3ısı

2cevap

mllib kmeans kümesindeki küme etiketlerini alın pyspark

Spark's mlys'i pyspark'ta kullandığımda küme etiketlerini nasıl alabilirim? temp = KMeans.train(data, k, maxIterations=10, runs=10, initializationMode="random") Bu KmeansModel nesnesi döndürür: skle

5ısı

3cevap

Spark Jaccard benzerlik hesaplaması önemsiz yaklaşımla karşılaştırıldığında min hashing slow

2 büyük değerler listesi verildiğinde, Spark kullanarak Scala'da jaccard similarity arasında hesaplamaya çalışıyorum. colHashed1 öğesinin ilk listesini içerir ve colHashed2 ikinci listeyi içerir. Yakl

1ısı

1cevap

Python kullanarak Apache Spark TFIDF

Spark belgelerinde HashingTF özelliği belirtiliyor, ancak dönüşüm işlevinin girdi olarak beklediğinden emin değilim. http://spark.apache.org/docs/latest/mllib-feature-extraction.html#tf-idf Ben öğreti

0ısı

2cevap

Kıvılcım kabuğu kullanarak kendi scala paketi nasıl içe aktarılır?

Bundan başka bir sınıf kullanan bir spark-ml kitaplığı için bir sınıf yazdım. Net olmak gerekirse, sınıfım RandomForestClassifier için bir sarıcıdır. Şimdi bu sınıfı kıvılcım kabuklarından ithal etme

2ısı

1cevap

Tek tek Spark Mllib altmodülü nasıl oluşturulur

Spark içindeki mllib dosyasını değiştirdim ve diğer projelerdeki özelleştirilmiş mllib jar'ünü kullanmak istiyorum. build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package htt