apache-spark

8ısı

1cevap

Kıvrım, Küçült, Aggregate için Spark Async arabirimi? Resmi Kıvılcım RDD API olarak

: https://spark.apache.org/docs/2.1.0/api/java/org/apache/spark/rdd/AsyncRDDActions.html sayımı, foreach toplamak ve hepsinde Geleceği iade zaman uyumsuz varyantları vardır alır. Neden bu uyumsuz/gele

12ısı

2cevap

MLlib ile DataFrame Kullanma

Diyelim ki bir DataFrame'im var (HDFS'de bir csv'den okuduğum) ve MLlib üzerinden bazı algoritmalar geliştirmek istiyorum. Satırları LabeledPoints'e nasıl dönüştürebilirim veya bu veri kümesinde MLlib

6ısı

1cevap

Ufuk için Python paketlerinden işlevler() Spark veri çerçevesi

pyspark ile Spark veri çerçevesi için user defined function (UDF) oluşturmak için pyspark.sql.functions.udf'u kullanabiliriz. Python paketlerinden udf(), ör. np.random.normal numpy?

5ısı

1cevap

kıvılcım önbellek sadece ben açıkça rdd.cache çağırdığınızda, ben RDD yalnızca bir kısmını aslında önbelleğe kıvılcım konsol depolama sekmesinden görebilirsiniz RDD

bir kısmını tutar. Sorum şu, kalan kısımlar nerede? Spark, önbellekte hangi bölümün ayrılacağına nasıl karar veriyor? Aynı soru sc.textFile tarafından okunur başlangıç ham veri() için de geçerlidir.

39ısı

2cevap

Spark Çalıştırmayı Öldür Uygulama

Diğer uygulamaların hiçbir kaynağa tahsis edilmeyeceği tüm çekirdeği kapladığı, çalışan bir Spark uygulamasına sahibim. Biraz hızlı araştırma yaptım ve insanlar komutunu öldürmek İPLİK öldürmek veya/b

5ısı

1cevap

Spark-SQL'de (Hive'de) SQL enjeksiyonlarından kaçınmanın tercih edilen yolu nedir?

Bir şemaRDD rdd, kayıtlı bir tabloyla customer. Kayıtları bir kullanıcı girişine göre filtrelemek istiyorsunuz. rdd.sqlContext.sql(s"SELECT * FROM customer WHERE name='$userInput'") Ancak PHP eski g

6ısı

4cevap

Spark sbin/klasöründe stop-all.sh işlevi tüm bağımlı düğümleri durdurmuyor

Merhaba Bağımsız modda bir Spark kümem var, yani dizüstü bilgisayarımda bir Spark-master işlemi ve üç Spark-slave işlemi var (Spark aynı makinedeki küme. Master ve slave'lerin çalıştırılması sadece ko

5ısı

1cevap

Bir kıvılcım bağlamı kullanarak bir web URL'ye nasıl erişilir

TextFile yöntemini kullanarak bir WEB URL'sini textFile yöntemiyle kullanmaya çalışıyorum, ancak hata alıyorum. Muhtemelen bu doğru yol değildir. Birisi lütfen kıvılcım içeriğinden bir web URL'sine na

7ısı

2cevap

nasıl Python kullanılarak bir kıvılcım işi yazıyorum PySpark

yılında Avro dosyasını okumak için. Ancak, bir sürü avro dosyasında okumalıyım. This Ben Spark'ın örnek klasöründe bulduk yakın çözümdür. Ancak, bu python komut dosyasını kıvılcım göndererek göndermen

6ısı

1cevap

İç içe sözlükten Spark DataFrame oluşturma

İç içe geçmiş sözlüklerin bir örneğim var, ör. ds = [{'a': {'b': {'c': 1}}}] ve iç içe sözlüklerçıkarım şemasında bir kıvılcım DataFrame oluşturmak istiyorum. sqlContext.createDataFrame(ds).printSchem