apache-spark

7ısı

1cevap

Kıvılcım, SparkException EMR içinde atanırken yanlış davranış

EMR'de kaynak yöneticisi olarak ve 2 düğümde YARN ile bir kıvılcım çalıştırıyorum. Koşulum yerine getirilmediyse, adımı bilerek başarısız olmam gerekiyor, bu yüzden sonraki adım yapılandırmaya göre yü

8ısı

3cevap

Kıvılcım Kabuğu "Derleyici Başlatmadı" Hata

Yeni makinemdeki kıvılcımı yeni yükledim ve Java, Scala ve Apache-spark'i homebrew kullanarak yükledikten sonra aşağıdaki hatayı aldım. Yükleme işlemi aşağıda verilmiştir: $ brew cask install java $

8ısı

1cevap

Neden Mongo Spark bağlayıcı bir sorgu için farklı ve yanlış sayımlar döndürür?

Mongo Spark bağlayıcısını bir proje için değerlendiriyorum ve tutarsız sonuçları alıyorum. MongoDB sunucu sürümü 3.4.5, Spark (PySpark üzerinden) sürüm 2.2.0, Mongo Spark Connector sürüm 2.11; 2.2.0 y

5ısı

1cevap

Apache Spark kullanarak pdf/ses/video dosyalarını (yapılandırılmamış veri) okumak mümkün mü?

Apache Spark kullanarak pdf/ses/video dosyalarını (yapılandırılmamış veri) okumak mümkün mü? Örneğin, binlerce pdf faturam var ve bunlardan veri okumak ve bazı analizler yapmak istiyorum. Yapılandırıl

5ısı

1cevap

Sparklyr - Ondalık hassasiyet 8 max hassasiyetli aşıyor 7

Ben spark_read_csv kullanarak Kıvılcım içine büyük bir veritabanını kopyalamak çalışıyorum ama çıktı olarak aşağıdaki hatayı alıyorum: Error: org.apache.spark.SparkException: Job aborted due to stage

7ısı

1cevap

HDFS'den okunan ocr dosyaları okunduktan sonra kıvılcımlanmayan kıvılcım kıvılcımları

Ambari'de kıvılcım 2.1.1 ve hadoop 2.6 kullanarak bir sorunum var. from pyspark.sql import SparkSession spark = SparkSession\ .builder\ .master('yarn')\ .appName('localTest')\ .g

6ısı

1cevap

Kafka Direct Stream her mesaj için neden yeni bir kod çözücü yaratıyor?

Java ile yazılmış ve Spark 2.1 kullanan bir Spark akış uygulamasına sahibim. Kafka'nın mesajlarını okumak için KafkaUtils.createDirectStream kullanıyorum. Kafka mesajları için kryo encoder/decoder kul

7ısı

1cevap

Erişme HDF'ler - zeplin

aracılığıyla tezgah ben Sonra https://github.com/big-data-europe/docker-hadoop-spark-workbench yüklü docker-compose up ile o kadar başlamıştır. the various urls mentioned in the git readme'a gittim ve

6ısı

1cevap

Spark ORC dizinlerini nasıl kullanırım?

Kıvılcımdan veya endekslenmeyi etkinleştirmek için seçenek nedir? df .write() .option("mode", "DROPMALFORMED") .option("compression", "snappy") .mode("overwrite")

5ısı

1cevap

Diğer sütunları türetmek için bir sütunu json nesnesi olarak geçici olarak nasıl depolarım?

Bu likes=dogs;hates=birds;likes=sports;eats=cheese gibi anahtar değer çiftleri ile bir veri kümesi var ben o zaman, ben bir dizeye çevrim olmadan bu json veri tipleri de tutabilir bir yolu var mı js