apache-spark-mllib

6ısı

1cevap

Spark MLLib'deki büyük veri kümesi için ortak filtrelemeyi hızlandırın

Öğeleri kullanıcılara önermek için MLlib'in matris çarpanlarını kullanıyorum. M = 20 milyon kullanıcının ve N = 50k öğesinin büyük bir örtük etkileşim matrisine sahibim. Modeli eğitdikten sonra, her k

5ısı

2cevap

benim pyspark Sıra nesnesi Verilen Vector

içine türünü dönüştürülemez: Ancak >>> row Row(clicked=0, features=SparseVector(7, {0: 1.0, 3: 1.0, 6: 0.752})) >>> row.clicked 0 >>> row.features SparseVector(7, {0: 1.0, 3: 1.0, 6: 0.752}) >>>

5ısı

1cevap

Nasıl org.apache.spark.mllib.linalg.VectorUDT için ml.linalg.VectorUDT dönüştürebilirsiniz

Spark cluster 2.0 kullanıyorum ve ben org.apache.spark.mllib.linalg.VectorUDT için org.apache.spark.ml.linalg.VectorUDT bir vektör dönüştürmek istiyorum. # Import LinearRegression class from pyspark.

0ısı

1cevap

Tavsiyeler sistem içinEmplicit'i kullanma

Kullanıcıların ürünleri satın aldıkları bir veritabanı olduğumu (Puan veya benzeri bir şey yok) ve onlara başka ürün önermek istiyorum. [Rating(user=2, product=23053, rating=1.0), Rating(user=2, prod

0ısı

2cevap

Bir örnekte Spark MLlib

'daki bazı bölümlerin yanlış anlaşılması Spark MLLib kullanarak basit bir kişiselleştirilmiş tanıtım önerisi oluşturmak için bunu example takip ediyorum. val numUsers = ratings.map(_._2.user).distinct

6ısı

1cevap

çıkış sırasını verilen giriş

sipariş veri kümesi değişiyor isin() işlevi sonra Apache kıvılcımla farklı sütun isimlerine sahip iki veri kümesi, birleştirme sorun ifadesi sırasına değildir. sort, orderby ile denedim, ancak çalışma

5ısı

1cevap

Naive Bayes modeli için BinaryClassificationMetrics değerlendirmesinde tahmin edilen ve etiket sütunları nasıl verilir

BinaryClassificationMetrics (Mllib) girişleriyle ilgili bir karışıklık var. Apache Spark 1.6.0 uyarınca, tahmin edilen, olasılık (vektör) & rawPrediction (vektör) olan dönüştürülmüş DataFrame'den (RDD

5ısı

1cevap

Spark-MLlib PMML dosyasında DataField değerleri tam sütun adları ile nasıl değiştirilir?

Spark 2.1.0 kullanıyorum. Spark-MLlib Doğrusal Regresyon modelini PMML dosyası olarak dışa aktarmaya çalışıyorum. PMML dosyasını da başarıyla ihraç ettim. Fakat bu dosyada, herhangi bir alan adı görem

5ısı

2cevap

nasıl Java'da java

kullanarak Spark List veya Array Bir Satır oluşturmak için ben RowFactory.create() Bir Satır oluşturmak için kullanın: "kayıt" bir veritabanından bir kayıt olduğunu Row row = RowFactory.create(record.

7ısı

1cevap

ALS model - öngörülen full_u * v^t * v puanları çok yüksek

Modelleri toplu olarak eğiten işlemler arasında derecelendirmeler tahmin ediyorum. import json import numpy as np pf = model.productFeatures() pf_vals = pf.sortByKey().values().collect() pf_keys