apache-spark

6ısı

1cevap

Java, Spark ve Cassandra java.lang.ClassCastException: com.datastax.driver.core.DefaultResultSetFuture gölgede bırakılamaz

Cassandra veritabanıma veri yazmaya çalışırken bir hatayla karşılaştım. Benim asıl sınıf package com.chatSparkConnactionTest; import java.io.Serializable; public class Dictionary implements Serial

6ısı

1cevap

Spark Streaming uygulamasını nasıl çalıştıracaksınız?

Kıvılcımı nasıl engellerim? Kıvılcım akışı işim sürekli çalışıyor. Zarif bir şekilde durmak istiyorum. Akış uygulamasını kapatmak için aşağıdaki seçeneği gördüm. sparkConf.set("spark.streaming.stopGra

6ısı

2cevap

Bir RDD'yi HDFS'ye nasıl kaydedebilirim ve daha sonra okuyabilir miyim?

Öğeleri türünde (Uzun, Dize) bir RDD sahibim. Bazı nedenlerden dolayı, tüm RDD'yi HDFS'ye kaydetmek istiyorum ve daha sonra RDD'nin bir Spark programına geri döndüğünü de okudum. Bunu yapmak mümkün mü

8ısı

1cevap

pyspark Bir yürütücü düğümde python işlemleri ramda yayın değişkenlerini paylaşır mı?

Kıvılcım kümemde 24 çekirdek ve 124Gb ram olan bir düğüm var. Spark.executor.memory alanını 4g olarak ayarladığımda ve ram'da saklamak için 3.5gb alan bir değişken yayınladığımda, çekirdekler bu değiş

6ısı

1cevap

Alma istisna: java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror (Ljava/lang/ClassLoader;) verileri kullanılarak

çerçeveleri ederken java.lang.NoSuchMethodError" alıyorum: scala.reflect.api.JavaUniverse .RuntimeMirror (Ljava/lang/ClassLoader;) "scala uygulamasında dataframes kullanırken ve spark kullanarak çalış

11ısı

2cevap

Spark Listener EventLoggingListener bir istisna attı/ConcurrentModificationException

Bizim uygulamanızda (Spark 2.0.1), bu istisnayı sık sık ortaya çıkarıyoruz. Bu konuda bir şey bulamıyorum. Sebep ne olabilir? 16/10/27 11:18:24 ERROR LiveListenerBus: Listener EventLoggingListener thr

5ısı

2cevap

Spark, java.util.NoSuchElementException öğesini atar: anahtar bulunamadı: 67

Zeppelin'deki Spark bileştiren kmmeans algoritması çalıştırılıyor. Hep olsa bu hatayı alabilirsiniz //I transform my data using the TF-IDF algorithm val idf = new IDF(minFreq).fit(data) val hashIDF

8ısı

4cevap

NoClassDefFoundError: SparkSession - hatta inşa

çalışıyor olsa yeni bir proje ve kurulum name := "newproject" version := "1.0" scalaVersion := "2.11.8" javacOptions ++= Seq("-source", "1.8", "-target", "1.8") scalacOptions += "-deprecation"

5ısı

1cevap

Spark-avro kullanarak kayıttaki alanları atlama

Güncelleme: Bu senaryoyu desteklemek için spark-avro paketi güncellendi. https://github.com/databricks/spark-avro/releases/tag/v3.1.0 Kıvılcımı kullanmam gereken üçüncü tarafım tarafından kontrolümün

5ısı

1cevap

Scala Spark ürününde şunlar yer almaz:

"içerir" ifadelerini kullanarak, bir RDD içindeki tupl'leri filtreleyebilirsiniz. Ama "içermiyor" kullanarak bir RDD'yi filtrelemeye ne dersiniz? val rdd2 = rdd1.filter(x => x._1 contains ".") Bunun