hadoop

0ısı

1cevap

Gobblin Map-azaltma işi EMR'de başarılı bir şekilde çalışıyor ancak s3

'de çıktı yok Goodelin'i üç düğüm EMR kümesini kullanarak kafka'dan s3'e taşımak için çalışıyorum. 2.6.0 hadoop üzerinde koşuyorum ve 2.6.0'a karşı da gobblin yapıyorum. Harita azaltma işi başarılı bi

0ısı

1cevap

Kıvılcım özel seri hale getirici ben olarak tanımlanan <strong>özel kıvılcım seri hale</strong> kullanmaya çalışıyorum

ClassNotFound yol açar: ("spark.serializer", CustomSparkSerializer.class.getCanonicalName()) conf.set; Ama infaz env oluşturma, örneğin zaman ClassNotFoundException konuyu bakan değilim Spark için baş

1ısı

1cevap

MapReduce'da bir ara döngüsü aracılığıyla ara anahtarları yayar - MapReduce'u yanlış anlamış mıyım? Temel örnek dahil.

Yani e-postaların bir koleksiyona sahip ve ne yapmak istediğinizi şöyle çıkış benzersiz üçüz (gönderici e-posta, alıcı e-posta, zaman damgası) için bunları kullanın geçerli: [email protected] [email p

-1ısı

1cevap

Ubuntu'da koilop kovanı kurarken hata oluştu

Koyopta kovanı kurduktan sonra aşağıdaki hatayı aldım. ! Dosyası: Günlüğü kavanoz içinde yapılandırmayı kullanarak başlatıldı /usr/local/hive/lib/hive-common-2.0.0.jar dizisindeki İstisna /hive-log4j2

1ısı

1cevap

Domuz Servisi Denetimi başarısız oldu - Kullanıcı: rm/[email protected], ambari-qa'nın kimliğine bürünmesine izin verilmiyor

Ambari kullanarak domuz servis kontrolünü çalıştırdım ancak başarısız oldu ve istisnanın altında kaldı. 2016-04-09 20:35:19,399 [JobControl] INFO org.apache.hadoop.mapreduce.JobSubmitter - Cleaning up

0ısı

1cevap

Hadoop görevi tamamlanmadı - nasıl hata ayıklanır?

3 düğümlü bir Hadoop kümem var. Bir mapreduce işi çalıştırıyorum - iki düğümde (isim düğümü ve veri düğümlerinden biri) haritacılar normal olarak bitiyor - ama datanode2'deki haritacılar başlıyor ama

0ısı

1cevap

Kovan nasıl yazılır UDFs

UDFS'leri nasıl kullanacağım konusunda kafam karıştı. UDF'lerle bash betiği işlevlerini değiştirmek mümkün mü? #!/bin/bash src_count_q="use db;select count(*) from config_table where table_nm="test_

0ısı

1cevap

Datanode hbase ve namenode başlamıyor hortonworks

Bağlantı reddetme hatası alıyorum Adınız ve düğümümün doğru izni bile var ve bunlar başlatılmıyor. servis aşağıdaki hatayı verir: (Bağlantı kurulamadı: [Errno 111] Bağlantı 0.0.0.0:50010'a reddedildi)

5ısı

1cevap

Kıvılcım: veri ayıklamak ve bazı geniş veri dönüşüm yapmak ve birkaç farklı dosyalara yazar yüzden kıvılcım işi çalıştıran işler

arasındaki uzun gecikme. Her şey yolunda gidiyor ama kaynak yoğun iş bitirme ve bir sonraki iş başlangıcı arasında rastgele genişleme gecikmeler alıyorum. aşağıdaki resimde, biz sonraki iş 17:37:02 et

1ısı

1cevap

Pencerelerde kıvılcım için ana başlatılamadı 10

Spark uygulamasında yeniyim, master'i elle çalıştırmaya çalışıyorum (Windows 10'da MINGW64 kullanarak). Bunu, ~/Downloads/spark-1.5.1-bin-hadoop2.4/spark-1.5.1-bin-hadoop2.4/sbin $ ./start-master.sh a