Apache Pig'da Bağlantı Hatası

Hadoop 2.0.5 ile Apache Pig .11.1 çalıştırıyorum.Apache Pig'da Bağlantı Hatası

Pig'de çalıştığım en basit işler mükemmel çalışıyor. Büyük bir veri kümesi veya SINIR operatörü üzerinde GROUP BY kullanmayı deneyin her

Ancak, ben bu bağlantı hataları alıyorum:

2013-07-29 13:24:08,591 [main] INFO org.apache.hadoop.mapred.ClientServiceDelegate - Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server 
013-07-29 11:57:29,421 [main] INFO org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 

2013-07-29 11:57:30,421 [main] INFO org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 

2013-07-29 11:57:31,422 [main] INFO org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
... 
2013-07-29 13:24:18,597 [main] INFO org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-07-29 13:24:18,598 [main] ERROR org.apache.hadoop.security.UserGroupInformation - PriviledgedActionException as:gpadmin (auth:SIMPLE) cause:java.io.IOException

garip bir şey bu hataları sonrasında tutarak yaklaşık 2 dakika boyunca görünen olmasıdır , duracaklar ve doğru çıktılar altta ortaya çıkıyor.

Hadoop düzgün çalışıyor ve doğru çıktıları hesaplıyor. Sorun, sadece devam eden bu bağlantı hatalarıdır.

LIMIT işleci her zaman bu hatayı alır. MapReduce modunda ve yerel modda olur. GROUP BY operatörü, küçük veri kümeleri üzerinde iyi çalışır.

Fark ettiğim bir şey, bu hata görüntülendiğinde, işin, iş sırasında birden çok JAR dosyası oluşturup çalıştırdığıdır. Ancak, bu mesajın birkaç dakikasından sonra doğru çıktı nihayet belirir.

Bu mesajlardan nasıl kurtulacağınıza dair herhangi bir öneriniz var mı?

kaynak

2013-07-29 Andy Botelho

: Ben tarih sunucusunu başlatmak için aşağıdaki komutu kullanılır Adının yerel mi? Değilse, 0.0.0.0 adresinden erişmeye çalışıyor. Bu, core-site.xml'den adenode konumunu almıyor olabilir ya da berbat bir/etc/hosts dosyanız var. –

Adenode yereldir. core-site.xml ve/etc/hosts'ların hepsi düzgün yapılandırılmış gibi görünüyor çünkü diğer Pig/Hadoop işlerinin çoğunun yapmaları gerektiği gibi çalışıyor.Ayrıca, bağlantı hataları birkaç dakika boyunca görüntülendikten sonra doğru iş çıkışı görüntülenir. Yani bence sorun başka bir şey. –

@AndyBotelho Muhtemelen iş geçmişi sunucusunun günlüklerini kontrol etmeye değer. –

Evet, sorun, iş geçmişi sunucusunun çalışmadığıydı.

mr-jobhistory-daemon.sh start historyserver

Bu komut iş geçmişi sunucusu başlatıldığında:

bu sorunu çözmek için yapmanız gereken tek şey

komut satırına şu komutu girin oldu. Şimdi 'jps' girersek, JobHistoryServer'ın çalıştığını görebiliriz ve Pig işlerim artık sunucuya bağlanmaya çalışırken zaman kaybetmez.

kaynak

2013-08-01 14:41:43

Bu çok yardımcı oldu. Pig 0.13 Hadoop 2.3.0 - başarıyla bitirmeyecek, sadece 10 kez tekrar dener ve sonra tekrar baştan başlar. – jeveloper

Bu mükemmel bir cevap! –

Bu dosya benim sürümümdeki sbin dizininde, FYI – WattsInABox

Bu sorun, hadoop haritalı site yapılandırma sorunu ile ilgili olduğunu düşünüyorum. History Server, localhost'ta varsayılan olarak çalışır, bu yüzden yapılandırılmış sunucunuzu eklemeniz gerekir.

<property> 
<name>mapreduce.jobhistory.address</name> 
<value>host:port</value> 
</property>

sonra bu komutu yangın - Ben Hadoop 2.6.0 kullanıyorum

mr-jobhistory-daemon.sh start historyserver

kaynak

2014-07-21 11:25:53 sushilprj

, bu yüzden

$ mr-jobhistory-daemon.sh --config /usr/local/hadoop/etc start historyserver

nerede/usr/local/Hadoop yapmak zorunda/vb olduğunu benim HADOOP_CONF_DIR.

kaynak

2016-03-10 11:35:19 prabhugs

Hadoop 2.2.0 kullanıyorum. Bu sorun, Tarih sunucusunun çalışmadığından kaynaklandı. Tarih sunucusunu başlatmak zorundaydım.

[root @ localhost ~] $ /usr/lib/hadoop-2.2.0/sbin/mr-jobhistory-daemon.sh başlangıç historyserver

kaynak

2018-01-10 12:35:30 Rameshwar

cevap

İlgili konular