apache-spark

15ısı

1cevap

Apache Spark uygulamasındaki bir Avro dosyasından desteklenmeyen birleşim türleri karışımını okuyun.

CSV düz dosyaları okumadan kıvılcımdaki avro dosyalarına geçiş yapmaya çalışıyorum. https://github.com/databricks/spark-avro kullandığım aşağıdaki: import com.databricks.spark.avro._ val sqlContext =

10ısı

1cevap

Kıvılcım: Ben Spark 1.4.1 aşağıdaki yürütmeye çalıştığınızda DataFrame

tarihinde UDF Görev Serializable değil ben org.apache.spark.SparkException: Task not serializable olsun. Bu veri çerçevesinin herhangi bir sorunu yok. Tamsayılar için benzer UDF'lere sahibim ve soruns

5ısı

2cevap

<console>: 22: hata: bulunamadı: değer sc

Spark için tamamen yeniyim, Spark üzerinde öğrenme devam ediyor. Uygulamada, aşağıdaki gibi birkaç sorunla karşı karşıya. Birden çok adım ve sessiz uzun. UNIX ortamında kıvılcım kabuğu kullanıyorum. A

5ısı

2cevap

İstisna nedir? String hasarımın rastlantısallığı pyspark'ta PYTHONHASHSEED ortalama ile devre dışı bırakılmalıdır?

pyspark'ta bir listeden sözlük oluşturmaya çalışıyorum. rawPositions [[1009794, 'LPF6 Comdty', 'BC22', 'Enterprise', 3.0, 3904.125, 390412.5], [1009794, 'LPF6 Comdty', 'BC22', 'Enterprise', 3.0, 39

7ısı

2cevap

PySpark'ta bir UDF'de "Tuple tipi" nasıl geri dönülür?

tüm data types in pyspark.sql.types are: __all__ = [ "DataType", "NullType", "StringType", "BinaryType", "BooleanType", "DateType", "TimestampType", "DecimalType", "DoubleType", "FloatType",

5ısı

1cevap

IAM rolüyle çalışan Spark EC2 komut dosyaları

Kök hesabım altındaki kullanıcının üstlenebileceği bir IAM rolü altında bir küme başlatmak için Spark EC2 komut dosyalarını çalıştırmaya çalışıyorum. this JIRA ticket göre, Kıvılcım EC2 komut dosyalar

7ısı

1cevap

Jupyter Defter uygulamasında özel Python betiği nasıl çalıştırılır (Spark'i önyüklemek için)?

IPython Defter'in PySpark kullanarak Spark Context sc yükünü (bu gibi: http://ramhiser.com/2015/02/01/configuring-ipython-notebook-support-for-pyspark/) yüklemek için nasıl yapılandırılacağı konusunda

6ısı

1cevap

Kafkas konu başlığından bir RDD oluşturabilir miyim?

KafkaUtils.createRDD, offsetRanges'i bir parametre olarak alır. Okumak istediğim konuya kadar bilmiyorum. En çok konudaki ilk 30 mesajı okumak istiyorum. Görüyorum ki bir KafkaCluster.html#getLatestLe

7ısı

1cevap

Bir RDD [Satır] geri DataFrame'e nasıl dönüştürülür

Dönüştürme RDD'leri DataFrames'e dönüştürmek ve tekrar kullanmaktayım. İlk olarak, dataPair olarak adlandırılan bir tür RD (Int, Int) vardı. Sonra sütun başlıkları kullanılarak bir DataFrame nesnesi o

5ısı

1cevap

Bir kıvılcım RDD

'daki her tuş için maksimum değeri alın Bir kıvılcım RDD'sindeki her benzersiz anahtarla ilişkili maksimum sırayı (değeri) döndürmenin en iyi yolu nedir? Python kullanıyorum ve Math max'ı, anahtar ve