hdfs

7ısı

3cevap

dosya görüntüleyicisi varHDFS? Senaryo: dosya sayısı bir eşiğe ulaşan bir kez Spark İşi başlatmak istiyor dosyaları HDF'ler continuously.I açılış edilmektedir (bu dosyaların dosya sayısı veya boyutu o

5ısı

1cevap

parke versiyonu bir dosya yazmak için kullanılan

HDFS'de bir parke dosyası yazmak için hangi parke versiyonunun kullanıldığını öğrenmenin bir yolu var mı? Aynı parke sürümü veya farklı sürümleri kullanılarak çeşitli dosyaların yazıldığını görmeye ça

5ısı

1cevap

Hadoop eşleştiriciden yeni bir dosyaya yazıyor

Büyük bir veri kümesi alan ve daha sonra mapreduce kullanarak bazı sorgular çalıştıran bir program yazmaya çalışıyorum. Ben yapmaya çalışıyorum ne public static class MRMapper extends Mapper<Long

6ısı

1cevap

"Yanlış FS ... beklenen: file: ///" Java

Java kullanarak HDF'ler bir dosyayı okumak için kuramıyorum içinde HDF'ler dosyayı okumaya çalışırken: String hdfsUrl = "hdfs://<ip>:<port>"; Configuration configuration = new Configuration(); confi

5ısı

1cevap

distcp

ben hata altına alma, S3 kovaya HDF'ler anlık kopyalama ediyorum "Cihazda boş alan sol" : $ SecretKey @ $ KOVA/$ SNAPSHOTNAME 15/08/20 06:50:07 INFO mapreduce.Job: map 38% reduce 0% 15/08/20 06:50:08

7ısı

2cevap

Bir kıvılcım akışı içeriğinde HDFS'ye bir RDD yazın

Yerel bir klasörden veri aldığım ve her dönüşümü gerçekleştirdiğim klasöre yeni bir dosya bulduğum kıvılcım 1.2.0 ile kıvılcım akışı ortamım var. DStream verilere benim analizi gerçekleştirmek amacıyl

6ısı

2cevap

Namenode yüksek kullanılabilirlikli müşteri talebi

Herhangi biri, bazı dosya yükleme/indirme işlemleri için, Namenode HA kurulumu ile HDFS'ye başvurmak için java uygulamasını kullanıyorsanız, Bu isteğin ilk önce nerede olduğunu söyleyebilir mi? Yani m

1ısı

1cevap

Önbelleğe Alınmış Spark RDD (Dizi Dosyasından okunan) geçersiz girişlere sahip, bunu nasıl düzeltirim?

Spark kullanarak Hadoop Sekans Dosyalarımı okuyorum (v1.6.1). RDD'yi önbelleğe aldıktan sonra, RDD'deki içerik geçersiz hale gelir (son giriş n kez kopyalanır). İşte benim kod parçacığı geçerli: impor

0ısı

1cevap

Kaynak: yerel dosyadan yerel dosyaya kopyalama için kaynak yolu ve türü.

Bazı günlük dosyalarını local'dan HDFS'a flume-ng kullanarak kopyalamaya çalışıyorum. source, /home/cloudera/flume/weblogs/ ve sink, hdfs://localhost:8020/flume/dump/'dur. Bir cron işi, tomcat sunucus

7ısı

1cevap

Dosyaları uzaktaki HDFS'den alma

Yerel makinemin bir hdfs yüklemesi yok. Uzak bir hdfs kümesinden dosyaları almak istiyorum. Bunu başarmanın en iyi yolu nedir? get dosyalarını hdfs'den küme makinelerinden birine dönüştürmem gerekiyor