hadoop

0ısı

1cevap

Hadoop yapılandırması xml bilgisini api kullanarak kullanma api

core-site.xml, mapred-site.xml, hdfs-site.xml ve yarn-site.xml dosyalarında '$ (hadoop_home) \ etc \ hadoop' var. Bu xml dosyalarını weblink veya webHdfs dinlenme komutunu kullanarak almam gerekir. Aş

1ısı

1cevap

Paket kurulumu sırasında Oozie/Sqoop jar konumu yapılandırılmamalıdır?

CentOS 6.7'de HDP 2.4 kullanıyorum. Kümeyi Ambari ile oluşturdum, böylece Oozie Ambari tarafından kuruldu ve yapılandırıldı. Oozie/Sqoop'u jar dosyası konumuyla ilgili çalıştırırken iki hatam var. Sqo

0ısı

1cevap

Uygulama Master'ı sonlandırıldıktan sonra bile uygulama iptali yok

Uygulamamın bu sorundan dolayı ıstırap çekmesi, bu uygulama ustası öldürüldükten sonra bile uygulama aslında öldürülmiyor. Onun bilinen bir iplik sorunu YARN-3561. Maviden oluşuyor, Bu yüzden başvurum

1ısı

1cevap

pyspark içinde fermuarlar ile çalışma

Bir dizinde fermuarlar var ve bunların her birini ayıklamak ve daha sonra bir dosyadan veya fermuarların içinde yatan iki veriden birini ayıklamak ve bir grafik DB'ye eklemek istiyorum. Her şey için s

0ısı

1cevap

Hadoop - Değişken sütunları olan CSV dosyalarının toplanmasıyla ilgili SQL arabirimini açığa çıkarma

Hadoop'a nispeten yeniyim ve herhangi bir sorunu çözmek için yüzlerce yol ve araç olduğunu anlıyorum. Genel olarak kabul edilebilir en iyi uygulama yaklaşımından geçip, benim görecektiğim bir problemi

0ısı

2cevap

Hedef dosya adını/konumunu distcp olarak değiştirin

HDF'de bir klasörde, adlarında filename.yyyy-mm-dd-hh.machinename.gz biçiminde adlar bulunan bir dizi dosya var. Bunları s3'e aktarmam gerekiyor ama bunları yyyy/aa/gg/hh/filename.yyyy-mm-dd-hh.machin

2ısı

1cevap

Hive

için analitik sorgularla kısıtlamalar Bazı sütunlarda gruplamak ve group by maddesindeki sütunların alt kümeleri olan bölümler üzerinde belirli bir sütun üzerinde toplulaştırmak istediğim bir kullanım

1ısı

2cevap

kare/hdfs'den sybase IQ veritabanına sqoop ihracatı

Verileri HDFS/HIVE'dan SYBASE IQ veri tabanına aktarmaya çalışıyorum, hemen hemen tüm etiketlerimi kullanmam mümkün ve sadece 1 sütunla geçici tablo oluşturdum. . sqoop export --driver com.sybase.jdbc

0ısı

3cevap

sqoop başlatılamıyor: jobtracker bulunamadı

Mysql'den cassandra'ya sqoop ile veri aktarırken başlık gibi bir hata alıyorum. dse sqoop import --connect jdbc:mysql://<IP address>/Turkgen --username root --table mgs --cassandra-keyspace turkgen_ks

1ısı

1cevap

hbase, Master çıkış hatası nedeniyle başlatılmıyor

Windows 8'de hbase0.98.4'ü başlatmaya çalışıyorum. Ben hadoop2.3.0 ve zookeeper3.3.6 yükledim. start-dfs.cmd start-yarn.cmd sonra Hbase başladı: Ben Hadoop başladı start-hbase.cmd ama günlükleri