apache-spark

14ısı

3cevap

İşbirlikçi Filtrelemede ALS örtülü geri besleme için tercihler nasıl belirlenir?

Işbirlikçi filtreleme için örtülü geri bildirim ile Spark MLib ALS kullanmaya çalışıyorum. Girdi verilerinin sadece iki alanı vardır userId ve productId. Ben ürün puanları var, sadece kullanıcıların ü

37ısı

4cevap

Kıvılcım: kıvılcım kabuklarından kıvılcım dosyasını nasıl çalıştırılır

CDH 5.2 kullanıyorum. Komutları çalıştırmak için kıvılcım kabuğu kullanabiliyorum. kıvılcım komutları içeren dosyayı (file.spark) nasıl çalıştırabilirim. İkinci olarak, sHb 5.2'deki scala programların

5ısı

2cevap

kıvılcım RDD birliği için çok yavaş

2 kıvılcımlı RDD'ler, dataRDD ve newPairDataRDD kullanıyorum. Uygulamam başladığında, dataRDD başlatılacak. Belirtilen bir hbase öğesindeki tüm veriler, dataRDD'ye depolanır. İstemcinin sql sorgusu ge

9ısı

2cevap

sbt - yalnızca yayın sırasında belirli bir bağımlılığı hariç tut

Apache Spark'in 1.0, 1.1, 1.2 sürümlerinden biriyle birlikte kullanılabilecek bir yardımcı program kütüphanesi yapıyorum. Tümüyle geriye dönük olarak uyumlu oldukları için, kullanıcının hangi kıvılcım

13ısı

2cevap

Scala 2.11 ve Spark, tarak ile neden "java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror" adresine yönlendiriyor?

Scala 2.11, Spark ve Scallop (https://github.com/scallop/scallop) kullanıyorum. analysis/target/scala-2.11/dtex-analysis_2.11-0.1.jar) ben sbt program cezası çalıştırmak mümkün duyuyorum şöyle komut s

5ısı

1cevap

hive/sql ve spark ile json anahtar değerlerini oku

Bu json dosyasını bir kovan tablosuna okumaya çalışıyorum, en üst seviye tuşları, yani 1,2 .., burada tutarlı değil. { "1":"{\"time\":1421169633384,\"reading1\":130.875969,\"reading2\":227.138275

8ısı

2cevap

Spark SQL: rdd.cache kullanmadan sql sorgu sonucunu önbelleğe alma()

Bir önbellek sql sorgu sonucunu rdd.cache() kullanmadan önbelleğe almanın bir yolu var mı? Örnekler için : output = sqlContext.sql("SELECT * From people") Biz output.cache kullanabilirsiniz() sonucu

9ısı

6cevap

spark ssc.textFileStream dizinden dosya aktarmıyor

2 işçi ile tutulması (maven conf) kullanarak aşağıdaki kodu çalıştırmaya çalışıyorum ve her biri 2 çekirdeğe sahip ya da kıvılcım göndermeye çalışıyorum. bu kodu 15/01/22 21:57:13 INFO FileInputDStrea

11ısı

1cevap

Kıvılcım: Repartition strateji metin dosyasını okuduktan sonra

bu şekilde benim küme başlattı : /usr/lib/spark/bin/spark-submit --class MyClass --master yarn-cluster--num-executors 3 --driver-memory 10g --executor-memory 10g --executor-cores 4 /path/to/jar.jar

8ısı

1cevap

Çalıştırıcıyı --master iplik küme ile çalıştıran: kıvılcım montajı ile ilgili sorun

Kerberize edilmiş bir kümede Spark 1.1.0, HDP 2.1 çalıştırıyorum. --Simp iplik istemcisini kullanarak kıvılcımlı gönderimi başarılı bir şekilde yürütebilirim ve sonuçlar HDFS'ye uygun şekilde yazılır,