apache-spark

6ısı

1cevap

Bir Kıvılcım kitapta okumak Spark Scala oluşturulmaz. Kabukta, sc olarak adlandırılan değişken olarak sizin için bir SparkContext otomatik olarak oluşturulur. Ben sc girdiğinizde, bana bulunamadı sc b

5ısı

1cevap

Kıvılcım: 2.0.2 java.util.ConcurrentModificationException: KafkaConsumer çok kanallı erişim

Ben kafka 0.10.1.0 ile hata altına alma ve kıvılcım am için güvenli değildir 2.0.2 private val spark = SparkSession.builder() .master("local[*]") .appName(job.name) .config("spark.cassandra.connect

5ısı

1cevap

Cassandra Tabloya Veri Ekleme Spark DataFrame Kullanma

Scala Sürüm 2.10.5 Cassandra 3.0 ve Spark 1.6 kullanıyorum. Temel Örnek Works ve Cassandra.So içine mümkün eklemek bilgi Ben şemayı val person = sc.textFile("hdfs://localhost:9000/user/hduser/person")

5ısı

2cevap

SparkSQL - parke dosyasını oku doğrudan

Bir masa okumak için aşağıdaki kodu kullanarak, SparkSQL için Impala geçiş ediyorum: Nasıl SparkSQL yukarıda çağırmak my_data = sqlContext.read.parquet('hdfs://my_hdfs_path/my_db.db/my_table') , bu

8ısı

3cevap

Spark: CoarseGrainedScheduler öğesini bulamadınız

Birkaç saat çalıştıktan sonra bu özel durumumu neden yaptığımı emin değilim. Am koşu Spark 2.0.2 Herhangi ayıklama ucu? 2016-12-27 03:11:22,199 [shuffle-server-3] ERROR org.apache.spark.network.server

5ısı

1cevap

pyspark düzeltmesi (5K sütuntan fazla)

100 milyon satır ve 5000+ sütun içeren bir DF sahibiyim. Colx ve kalan 5000+ sütun arasındaki düzeltmeyi bulmaya çalışıyorum. aggList1 = [mean(col).alias(col + '_m') for col in df.columns] #exclude ke

5ısı

1cevap

SparkException: Birleştirilecek değerler boş olamaz

Özellikleri normalleştirmek için StandardScaler kullanmak istiyorum. İşte benim kodudur: val Array(trainingData, testData) = dataset.randomSplit(Array(0.7,0.3)) val vectorAssembler = new VectorAssemb

12ısı

2cevap

Yeni veriler olmadan bölümleri silmeden Spark'de DataFrame nasıl bölümlenir ve yazılır?

Böyle üç sütun değerleri tarafından bölümlenmiş, DataFrameWriter kullanarak Parke formatında HDF'ler bir DataFrame kurtarmaya çalışıyorum: this question belirtildiği gibi dataFrame.write.mode(SaveMode

12ısı

1cevap

Oynat! ve Spark uyumlu olmayan Jackson sürümleri

Player ile Spark 2.1'i çalıştırırken bir sorunum var! 2.5.9. aşağıdaki çalışma zamanı özel olsun: dependencyOverrides ++= Set("com.fasterxml.jackson.core" % "jackson-databind" % "2.4.4") Ama o değil

6ısı

1cevap

Spark DataFrame'e iç içe bir sütun ekleme

Yuvalanmış düzeydeki bir yapıya alanları nasıl ekleyebilir veya değiştirebilirim? Bu giriş: val rdd = sc.parallelize(Seq( """{"a": {"xX": 1,"XX": 2},"b": {"z": 0}}""", """{"a": {"xX": 3},"b":