Spark'ım tamamlanmış uygulamaları neden hala işçimin disk alanını kullanıyor?

Question

Datastax Spark uygulamasının tamamlanmış uygulamaları işçimin disk alanını kullanıyor. Bu yüzden benim kıvılcım çalışamaz çünkü herhangi bir disk alanı kalmadı. Bu benim kıvılcım çalışan dizinim. Bu mavi astarlı uygulamalar toplamda 92 GB'lık bir alana yayılıyor, ancak uygulamaların tamamlanmasından bu yana artık mevcut değiller bile. Problemin nerede olduğunu bilmediğiniz için teşekkürler.

Answer 1

Kıvılcım otomatik işçi düğümlerine transfer kavanoz temizlemek değildir:

Bu benim kıvılcım ön kullanıcı arayüzüdür. Bunu yapmak istiyorsanız ve Spark Standalone (YARN biraz farklı ve aynı işe yaramaz) çalıştırıyorsanız, spark.worker.cleanup.enabled değerini true olarak ayarlayabilir ve temizleme aralığını spark.worker.cleanup.interval aracılığıyla ayarlayabilirsiniz. Bu, Spark'in çalışanlarınızda saklanan verileri temizlemesine izin verecektir. Tüm uygulama dizinleri için varsayılan bir TTL de yapılandırabilirsiniz. spark.worker.cleanup.enabled ait Dokümanlar

:

işçi/uygulama dizinleri periyodik temizleme etkinleştirin. 'un, YARN farklı şekilde çalıştığından, bunun sadece bağımsız modu etkilediğini unutmayın. Durdurulan uygulamaların sadece dizinleri temizlenir.

Daha fazla bilgi için bkz. Spark Configuration.