Domuz java.lang.NoSuchFieldException: jobsInProgress istisnası

Question

CDH4 ile pig-0.11.0 + 28 kullanıyorum ve herhangi bir Domuz işi çalıştırdığımda bu özel durumu alıyorum. Yerel modda da olurum. Herhangi bir fikir?

2013-07-08 13:53:44,035 [main] WARN org.apache.pig.backend.hadoop23.PigJobControl - falling back to default JobControl (not using hadoop 0.23 ?) 
    java.lang.NoSuchFieldException: jobsInProgress 
    at java.lang.Class.getDeclaredField(Class.java:1938) 
    at org.apache.pig.backend.hadoop23.PigJobControl.<clinit>(PigJobControl.java:58) 
    at org.apache.pig.backend.hadoop.executionengine.shims.HadoopShims.newJobControl(HadoopShims.java:102) 
    at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobControlCompiler.compile(JobControlCompiler.java:285) 
    at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher.launchPig(MapReduceLauncher.java:177) 
    at org.apache.pig.PigServer.launchPlan(PigServer.java:1266) 
    at org.apache.pig.PigServer.executeCompiledLogicalPlan(PigServer.java:1251) 
    at org.apache.pig.PigServer.execute(PigServer.java:1241) 
    at org.apache.pig.PigServer.executeBatch(PigServer.java:335) 
    at org.apache.pig.tools.grunt.GruntParser.executeBatch(GruntParser.java:137) 
    at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:198) 
    at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:170) 
    at org.apache.pig.tools.grunt.Grunt.exec(Grunt.java:84) 
    at org.apache.pig.Main.run(Main.java:604) 
    at org.apache.pig.Main.main(Main.java:157) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:606) 
    at org.apache.hadoop.util.RunJar.main(RunJar.java:208) 

Answer 1

Bu WARN, çalışma zamanında zararsızdır.

Pig, birçok sürümle çalışmak üzere tasarlanmıştır.

CDH4, Apache Hadoop 2.x'i MR1 (0.20/1.x) MR çerçevesi seçeneğiyle gönderdiğinden, Pig, ne beklemesi gerektiğine dair kafa karıştırıyor. Bir 2.x sürümü algılar ve MR2 tarzı bir göndericiyi yüklemeye çalışır, ancak MR1'i kullanırsanız, bu gürültülü WARN'yi yazdırır ve MR1'e geri döner ve hala başarılı bir şekilde devam eder. Hatayı, bunu belirten org.apache.pig.backend.hadoop23.PigJobControl - falling back to default numaralı veya benzeri bir mesaj izler.