apache-spark

5ısı

1cevap

Bir (JavaPairRDD<Integer, Double> pairs) anahtarıyla ortalamayı hesaplamak için lambda işlevini kullanmak istiyorum. Ancak java.util.function.Function<Double, Tuple2<Double, Integer>> createAcc = x ->

11ısı

1cevap

kıvılcım - filtre içinde harita

İç harita fonksiyon filtreleme çalışıyorum. Temelde, klasik harita küçültmede bunu yapabilmenin yolu, filtre kriterleri karşılandığında, eşleştiricinin içeriğe bir şey yazmamasıdır. Kıvılcımla nasıl b

6ısı

1cevap

EMR kümesine nasıl bir Spark jar gönderirim?

Kümemi Apache Spark ile birlikte başlatmak için çevrimiçi AWS konsolunu kullandım. Kıvılcım uygulamasına dayanan bir şişman kavanoza sahibim ve bunu bir S3 Kepçe'ye yükledim. Step with a Custom Jar ol

5ısı

2cevap

Spark ile ilgili dokümantasyonu nerede?

Spark ile ilgili belgeleri nereden indirebilirim? web-pages olarak mevcut olmasına rağmen, Eclipse'de kaynağa eklenmesi çok daha kolay olacaktır. Kesinlikle bir programlama sorusu olmadığını biliyorum

6ısı

1cevap

göster bölümleri RDD

pyspark RDD belgeleri http://spark.apache.org/docs/1.2.1/api/python/pyspark.html#pyspark.RDD bir RDD için bölüm bilgilerini görüntülemek için herhangi bir yöntem (ler) göstermez. ek bir adım ör .: myr

5ısı

1cevap

Cassandra veri toplama Spark tarafından

cassandra kıvılcım soketini kullanarak Sunucu tarafı veri seçimi ve filtrelemeyi kullanmak istiyorum. Şunları yapmamız ilgi Sonra CREATE TABLE project1( year int, month int, load_ba

7ısı

1cevap

Apache Spark ALS önerileri yaklaşımı

Spark MLLib'in ALS programını kullanarak öneri sistemi oluşturmaya çalışıyorum. Şu anda, günlük olarak tüm kullanıcılar için ön öneriler oluşturmaya çalışıyoruz. Basit örtülü geri bildirimler ve ALS k

14ısı

1cevap

Scala/Kıvılcım Uygulaması "No TypeTag available" ile "def main" tarzında bir hata oluştu. App

Scala/Spark yığınında yeniyim ve SparkSql kullanarak temel becerilerimi nasıl test edeceğimi anlamaya çalışıyorum "map" TempTables ve viceversa'daki RDD'ler. Aynı kodla birlikte 2 farklı .scala dosyam

11ısı

4cevap

Ben PySpark ve MLlib kullanarak Spark 1.3.0 ile çalışıyorum Kıvılcım \ PySpark

yılında \ yük modellerini kaydetmek için sağ yolu nedir ve ben kaydetmek ve benim modellerini yüklemeniz gerekir. Ben model0 kullanmayı deneyin sonra ben bu ile biten bir uzun Traceback olsun (resmi d

5ısı

1cevap

. Hdfs dizindeki klasörleri silme işlemi silinmiyor

Bazı kıvılcım işleri yapıyoruz ve işimizi tamamladıktan sonra hdfs'da yönetmenlik yapıyoruz. İş tamamlandıktan sonra hazırlama dizini silmek için ayarlamamız gereken herhangi bir parametre var mı? spa