apache-spark

11ısı

1cevap

Scala & Spark: SQL deyimlerinin geri dönüşümü

Eskiden çeşitli R komut dosyalarının verilerini almak için kullanılan birden çok SQL sorgusunu kodlamak için epey zaman harcadım. Bu sorunu çözmez veritabanında kendisi VIEW s oluşturmanın neden - Bu

6ısı

1cevap

Spark'da kullanmak için xgboost modülü nasıl dağıtılır?

pyspark'ta önceden hazırlanmış bir xgboost sınıflandırıcı kullanmak istiyorum, ancak kümedeki düğümler xgboost modülünün yüklü olmadığını gösteriyor. Eğitim aldığım ve yayınladığım sınıflandırıcıyı se

5ısı

2cevap

nasıl Java'da java

kullanarak Spark List veya Array Bir Satır oluşturmak için ben RowFactory.create() Bir Satır oluşturmak için kullanın: "kayıt" bir veritabanından bir kayıt olduğunu Row row = RowFactory.create(record.

12ısı

2cevap

Spark sql boş değerleri kaybetmeden nasıl patlayabilir

Düzleştirmeye çalıştığım bir Dataframe'im var. İşlemin bir parçası olarak, onu patlatmak istiyorum, bu yüzden bir dizi sütunum varsa, dizinin her bir değeri ayrı bir satır oluşturmak için kullanılacak

6ısı

1cevap

Apache Spark Maven Bir uygulamanın serbest bırakılması ve geliştirilmesi için bağımlılar

Apache Spark uygulamasında maven ile uber jar oluşturmak için this eğitimini takip etmeliyim. Tüm Spark Bağımlılıklarını <scope>provided</scope> ile pomda ayarlıyorum. Bu çok iyi çalışıyor, ancak şimd

10ısı

2cevap

Hava akışında Spark kodu nasıl çalıştırılır?

Yeryüzündeki insanlara merhaba! Spark görevlerini planlamak ve çalıştırmak için Airflow kullanıyorum. Tüm bu zamana kadar bulduğum Airflow'un yönetebileceği python DAG'leri. DAG örnek: spark_count_lin

6ısı

1cevap

Veritabanını (kovan tablosundan elde edilen), hadoop'a nasıl yazılır? SequenceFile ve RCFile?

Ben doğrudan ORC PARQUET ve TEXTFILE AVRO içine yazabiliyorum Veritabanlarından ek bağımlılıklar kullanarak . <dependency> <groupId>com.databricks</groupId> <artifactId>spark-csv_2.10</art

7ısı

3cevap

Csv dosyasını bir dataframe olarak okurken şema sağlayın

Bir csv dosyasını bir veri çerçevesine okumaya çalışıyorum. Veri dosyamın şemasının csv dosyamı bildiğimden beri ne olacağını biliyorum. Ayrıca dosyayı okumak için kıvılcım csv paketi kullanıyorum. Aş

6ısı

1cevap

Spark-graphx'ta iki atlama komşuları nasıl edinilir?

Grafiksel kullanarak yönlendirilmiş bir grafik oluşturdum. #src->dest a -> b 34 a -> c 23 b -> e 10 c -> d 12 d -> c 12 c -> d 11 böyle bütün iki hop komşuları almak istiyorum: a -> e 44 a ->

8ısı

2cevap

Spark 2.0 kıvılcım çıkarması yok

Spark 2.0'ı kullanarak, satırların bir veri çerçevesini vaka sınıflarının bir veri çerçevesine dönüştürmenin mümkün olduğunu görüyorum. Bunu yapmaya çalıştığımda, spark.implicits._ ithal etmek için bi