apache-spark-sql

2ısı

1cevap

Spark Hive Bağlam - Bölümler ve büyük harf alan adlarıyla Avro tablosu

Bölümlenmiş Avro Hive tabloları için, Avro şemasında büyük harf karakterleri olan alan adları boş olarak geri çekiliyor. Eksik olduğum bazı ayarların/çözümlerin olup olmadığını merak ettim, ya da bu s

hadoop apache-spark hive apache-spark-sql avro 2016-03-20

---

-1ısı

1cevap

toplam MADlib UDF Spark SQL

Bunu nasıl yapacağımı biraz kaybettim. MADlib toplam fonksiyonunu uyguluyorum. Bu işlev diziler, rastgele sayıda alır ve ekler: sum (array [ 1,2] , array [2,3 ] , array [4,5 ]) Return : [7,10] aynı

scala apache-spark user-defined-functions apache-spark-sql 2016-03-21

---

0ısı

1cevap

Spark SQL - RDD olarak dönüştürmeden DataFrame Satırlarını/Sütun değerlerini güncelle

Spark SQLDataFrame Satır/Sütun değerlerini RDD olarak dönüştürmeden nasıl güncelleştiririm? Neden DataFrame'i RDD gibi güncelleyemiyoruz ve başka bir tane döndürüyoruz.

java apache-spark-sql 2016-03-22

---

3ısı

1cevap

bir java.lang.LinkageError alın: ClassCastException iplik

Bu üzerinde kullanım kıvılcım sql hivesql i iplik kümeye yükleme sürücü olduğunda: package com.baidu.spark.forhivetest import org.apache.spark.sql._ import org.apache.spark.sql.types._ import org.

apache-spark hive apache-spark-sql 2016-03-22

---

4ısı

3cevap

SparkSQL SQL sorgusu JDBC tablosuna yazılacak nedir? Spark'deki SQL sorgusu için

. okuma için , biz yazma için CREATE TEMPORARY TABLE jdbcTable USING org.apache.spark.sql.jdbc OPTIONS dbtable ...; tarafından jdbc okuyabilir, SQL kullanarak uzaktan JDBC tabloya veri yazmak için

jdbc apache-spark hive apache-spark-sql hiveql 2016-03-23

---

2ısı

2cevap

Spark içinde pencereleme işlevlerini kullanma

Spark veri çerçevelerinde rowNumber kullanmaya çalışıyorum. Sorgularım, Spark kabuğunda beklendiği gibi çalışıyor. i Tutulma bunları yazmak ve bir kavanoz derlemek Ama ne zaman, bir hata kıvılcım kabu

apache-spark apache-spark-sql spark-dataframe 2016-03-23

---

1ısı

1cevap

Spark üzerinden Aktarım SQL - ArrayIndexOutOfBoundsException

Akışta bir SQL sorgusu başlatmak için aşağıdaki koda sahibim. Sorunum, sonuçlardan birinin ArrayIndexOutOfBoundsException olduğunu gösteriyor. Bu neden oluyor? import org.apache.spark._ import org.ap

apache-spark apache-spark-sql spark-streaming spark-dataframe 2016-03-23

---

1ısı

1cevap

Spark SQL insertInto(), bölüm anahtarı için başarısız

S3'ten veri yüklemeye çalışıyorum ve sonra bölümlü bir kovan tablosuna veriyorum. Önce create_date (bigint) ile bölüm anahtarı olarak başladım ve iyi çalıştı, ancak şimdi aynı verileri bir create_mont

apache-spark apache-spark-sql spark-dataframe 2016-03-23

---

0ısı

1cevap

Ben spark.I bu verdiğimde pencere functions.But erişmek için sparkSQL içinde HiveContext kullanmaya çalışıyorum için yeni HiveContext

ile Spark nasıl kullanılır aşağıdaki hatayı alıyorum import org.apache.spark.sql.hive.HiveContext : error: object hive is not a member of package org.apache.spark.sql Aşağıdaki bağımlılıkları build.

apache-spark sbt apache-spark-sql spark-dataframe sbt-assembly 2016-03-23

---

13ısı

3cevap

İki DataFrames arasındaki fark nasıl elde edilir?

1.6 API (scala) Dataframe'un kesişim için işlevler vardır, ancak hepsi bir fark için değil. Açıkçası, birliğin ve dışında bir kombinasyon farkı oluşturmak için kullanılabilir: df1.except(df2).union(df

scala apache-spark apache-spark-sql 2016-03-24

---