İplik Kıvılcımı: Çoklu kıvılcım işlerinin planlanması nasıl önlenir

Question

Kıvılcım ipliği ile - Eşzamanlı işlerin planlanmasını önlemek için bir yol göremiyorum. Tamamen toplu işlem yapmak için mimarlık ayarım var.

Aşağıdaki nedenlerden dolayı bu gerekir:

• Kaynak kısıtları
• UserCache kıvılcım gerçekten hızlı büyür. Birden çok iş çalıştırmak, önbellek üzerinde bir alan patlamasına neden olur.

İdeal olarak, İplik'te herhangi bir zamanda çalışacak bir işin olmasını sağlayacak bir yapılandırma olup olmadığını görmek isterim.

Answer 1

Yalnızca bir uygulama yöneticisi barındırabilen ve bu sıradaki tüm Spark işlerini çalıştıran bir kuyruk oluşturabilirsiniz. Bu nedenle, bir Spark işi çalışıyorsa diğeri kabul edilir, ancak çalıştırılan yürütme bitene kadar planlanmayacak ve çalıştırılmayacaklardır ...

Answer 2

Sonunda çözüm bulundu - iplik belgelerinde bulundu: yarn.scheduler.capacity .max-uygulamaları 10000 yerine 1'e ayarlanmalıdır.