hadoop

13ısı

1cevap

Parke dosyaları için meta veriler oluşturma

Harici parke dosyalarının üzerine yerleştirilmiş bir kovan tablom var. Paruqet dosyaları kıvılcım işi tarafından oluşturulmalıdır, ancak meta veri bayrağını false değerine ayarlayarak bunlar oluşturul

9ısı

3cevap

Sürüm kitaplığı kıvılcımı SparkSession ile birlikte SparkSession

Code Spark desteklenmektedir. <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http:/

7ısı

1cevap

spark-submit, iş tamamlandıktan sonra askıda kalmaya devam ediyor

AWS'de sparklerle 1.6'yı test etmeye çalışıyorum. Örnekler klasöründe bulunan wordcount python örneğini kullanıyorum. İşi kıvılcım ile gönderirim, iş başarıyla tamamlanır ve sonuçları konsolda da yazd

-1ısı

1cevap

Nutch ile hata 1.11: .... org.apache.hadoop.fs.FileStatus.isDirectory() Z

Java'da Google haberleri gibi bir uygulama yapmak istiyorum. Bunun için bunu sıfırdan yapıyorum ve Nutch ile temel ayarları yapıyorum. Yüklemeyle tamamlandım, ancak bir komutta hata alıyorum. Teknikle

0ısı

1cevap

İşler göndermek ve sonuçları okumak için HDInsight Spark arabirimini dinlendirin

Azure'da HDInsight içinde bir Spark kümesi oluşturdum, düzenli bir şekilde HDInsight blob depolama alanına veri gönderiyor ve bir Hive External tablosu oluşturdum üstüne üstlük. Jupyter'i kullanabilir

1ısı

1cevap

MongoDB Hadoop Sürücüsü Kullanarak Kovan Tablosu Oluşturma

Bir Hive Veritabanından MongoDB'deki bir koleksiyona wiki sitesinde sağlanan bir sürücü (kavanoz) kullanarak bağlanmaya çalışıyorum. İşte benim yaptığım adımlar şunlardır: -: Ben Hadoop MongoDB aracıl

6ısı

1cevap

Doğrudan Parquet/S3'ten Redshift'e Spark SQL/Hive/Presto?

S3'da depolanan çok miktarda sunucu verisi var (yakında bir Parquet biçiminde olmak üzere). Verilerin bazı dönüşüme ihtiyacı vardır ve bu nedenle S3'ten gelen bir düz kopya olamaz. Verilere erişmek iç

6ısı

1cevap

Hadoop -getmerge nasıl çalışır? Hadoop getmerge açıklamada

Kullanımı: HDF'ler dfs -getmerge src localdst [addnl] getmerge neden kendisini HDF'ler değil yerel hedefe birleştirerek neden Sorum şu? Bu soru şu soruna sahip olduğum için sorulmuştum Birleştirilecek

5ısı

2cevap

<console>: 22: hata: bulunamadı: değer sc

Spark için tamamen yeniyim, Spark üzerinde öğrenme devam ediyor. Uygulamada, aşağıdaki gibi birkaç sorunla karşı karşıya. Birden çok adım ve sessiz uzun. UNIX ortamında kıvılcım kabuğu kullanıyorum. A

10ısı

1cevap

(piton)

Ben iki tür dosyaları (A.csv & B.csv) /data/jan.zip içeren birden fazla zip dosyaları var kıvılcım kullanarak zip dosyası içinde bir CSV dosyasının içeriğini nasıl okunur? - > A.csv & B.csv içeren /da