Spark executor on YARN

Question

YARN istemci modunda bir Cloudera kümesinde dağıtılmış bir Spark uygulaması başlatıyorum. Bir süre sonra Cloudera Manager'da bazı hatalar görüyorum. Bazı uygulayıcılar bağlantısı kesilir ve bu sistematik olarak gerçekleşir. Sorunu hata ayıklamak istiyorum ancak iç istisna YARN tarafından bildirilmiyor.

Exception from container-launch with container ID: container_1417503665765_0193_01_000003 and exit code: 1 
ExitCodeException exitCode=1: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:538) 
    at org.apache.hadoop.util.Shell.run(Shell.java:455) 
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702) 
    at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:196) 
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:299) 
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81) 
    at java.util.concurrent.FutureTask.run(FutureTask.java:262) 
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
    at java.lang.Thread.run(Thread.java:745) 

Kural dışı durumdaki stacktrace'i nasıl görebilirim? Görünüşe göre, YARN yalnızca uygulamanın anormal olarak çıktığını bildiriyor. YARN yapılandırmasında spark executor kaydını görmenin bir yolu var mı? NodeManager'ın yarn.nodemanager.log-dir özelliği için

Answer 1

10. Spark yürütme kapsayıcısının çalıştığı günlüğün yeridir.

Uygulama NodeManager bittiğinde dosyaları kaldırabileceğini unutmayın (Günlük Toplama). Detay için bu belgeyi kontrol edin. http://hortonworks.com/blog/simplifying-user-logs-management-and-access-in-yarn/