parquet

13ısı

1cevap

Parke dosyaları için meta veriler oluşturma

Harici parke dosyalarının üzerine yerleştirilmiş bir kovan tablom var. Paruqet dosyaları kıvılcım işi tarafından oluşturulmalıdır, ancak meta veri bayrağını false değerine ayarlayarak bunlar oluşturul

3ısı

1cevap

Dosya yazmak için kıvılcım ayırma çok yavaş

Bir dosyayı Spark kullanarak HDFS'ye yazarken, bu bölümleme kullanılmadığında oldukça hızlıdır. Bunun yerine, dosyayı yazmak için bölümleme kullandığımda, yazma gecikmesi faktörü ~ 24 artar. Aynı dosy

1ısı

1cevap

Cloudera Impala: Dosyanın geçersiz bir sürümü var. Bu, eski meta veriler

nedeniyle olabilir CDH dağıtımı (sürüm 5.6.0) Impala (sürüm 2.4.0) ile çalıştırıyorum. HDFS'de saklanan bazı Parke dosyalarım var. Tüm dosyalar başarıyla listelenir aşağıdaki sorguyu yürütme sonrasınd

6ısı

1cevap

Parke dosyasında yuvalanmış nesne ve dizi nasıl oluşturulur?

İç içe geçmiş alanları olan bir parke dosyasını nasıl oluştururum? Ben şu var: public static void main(String []args) throws IOException{ int fileNum = 10; //num of files constructed int

5ısı

2cevap

SparkSQL - parke dosyasını oku doğrudan

Bir masa okumak için aşağıdaki kodu kullanarak, SparkSQL için Impala geçiş ediyorum: Nasıl SparkSQL yukarıda çağırmak my_data = sqlContext.read.parquet('hdfs://my_hdfs_path/my_db.db/my_table') , bu

11ısı

1cevap

HUGE veri bloğunu parke içine kaydetmek mümkün mü?

100.000'den fazla satırdan oluşan bir veri çerçevem var ve her satırda 100.000 sütun var, toplam 10.000.000.000 float değerine sahip. Ben csv (sekme ayrılmış) dosyasında daha önce bunları okumayı ba

11ısı

2cevap

Spark 2.0 'DirectParquetOutputCommitter', onsuz nasıl yaşayacağımı kabul etmiyor?

Geçtiğimiz günlerde "EMR on HDFS" -> "S3 üzerinde EMR" (tutarlı görünüm etkinleştirilmiş EMRFS) ve Spark 'SaveAsTable' (parke biçimi) yazı tiplerinin S3'e göre daha düşük olduğunu gördük. DirectParque

12ısı

2cevap

Yeni veriler olmadan bölümleri silmeden Spark'de DataFrame nasıl bölümlenir ve yazılır?

Böyle üç sütun değerleri tarafından bölümlenmiş, DataFrameWriter kullanarak Parke formatında HDF'ler bir DataFrame kurtarmaya çalışıyorum: this question belirtildiği gibi dataFrame.write.mode(SaveMode

6ısı

1cevap

gzipped Parçalı HDFS için Parke dosyası ayrılabilir mi?

Bu konuyla ilgili internette cevap ararken ve okurken kafa karıştırıcı mesajlar alıyorum. Herkes deneyimlerini paylaşabilir mi? Ben gzipped csv değil, ama Parke için iç yapıları dosya Parke vs csv içi

6ısı

1cevap

AWS Lambda işlevinde bir parke dosyası oluşturma

S3'te bir Parçacıma dönüştürmek istediğim (1 Mb) CSV/JSON dosyaları kümesi alıyorum. Bir Lambda fonksiyonu kullanarak bu dosyaları kolayca Parke'ye dönüştürebilmeyi bekliyordum. Google'a baktıktan son