Spark

Question

TL göndermek kıvılcımı o kullanarak geçirilir olandan çekirdeklerinin farklı sayısını gösterir; DR

Kıvılcım UI ne kullanırken bunu soruyorum kıvılcım gönderin daha çekirdek ve bellek farklı sayısını gösterir

daha fazla bilgi için:

Bağımsız modda Spark 1.6 kullanıyorum. Kıvılcım gönderimi çalıştırdığımda, icracı için 1 çekirdekli 1 sürücü örneği ve ayrıca sürücü için 1 çekirdek geçiriyorum. Ne olmasını beklerim, başvurumun toplam 2 çekirdek ile çalıştırılacağıdır. UI'daki ortam sekmesini kontrol ettiğimde, verdiğim doğru parametreleri aldığımı görüyorum, ancak yine de farklı bir çekirdek sayısı kullanıyor gibi görünüyor. Uygulamayı buradan görebilirsiniz: bunlar gerçekten olduklarını

spark.executor.memory 5g 
spark.executor.cores 1 
spark.executor.instances 1 
spark.driver.cores 1 

Kıvılcım UI'daki çevre sekmesini kontrol edilmesi gösterilmektedir:

Bu kullanıyorum benim kıvılcım-defaults.conf olduğunu parametre alındı ​​ancak kullanıcı arabirimi hala başka bir şey gösteriyor

Kıvılcımın, istediğimden daha fazla çekirdek kullanmasına neden olabilecek herhangi bir fikri var mı?

Kullanım spark.cores.max yerine sayısını sınırlamak mevcut çekirdek sayısını tanımlamak ve böylece DR

; Açıkçası peşin

Answer 1

TL yılında

Teşekkür bunu googling çalıştı ama o konu hakkında yararlı bir şey bulamadık İcracıların bağımsız modunda yılında

---

, bir açgözlü strateji kullanılır ve birçok executors çekirdek ve bellek işçi geçerli olduğu gibi oluşturulur.

Durumunuza göre, yürütücü başına 1 çekirdek ve 5 GB bellek belirttiniz. şu Kıvılcım hesaplanacaktır: mevcut 8 çekirdek bulunmadığından

• , bu 8 uygulayıcılarına bu oluşturmaya çalışacağız.
• Ancak, yalnızca 30 GB'lık bir bellek olduğu için, yalnızca 6 yürütücü oluşturabilir: her bir yürütücünün 30 GB'a kadar ekleyebilen 5 GB'lık belleği olacaktır.
• Bu nedenle, 6 kullanıcı oluşturulacak ve 30 GB bellekle toplam 6 çekirdek kullanılacaktır.

Kıvılcım, istediğiniz şeyi temel olarak yerine getirdi. İstediğinizi elde etmek için, here belgelenmiş spark.cores.max seçeneğini kullanabilir ve ihtiyacınız olan çekirdek sayısını tam olarak belirleyebilirsiniz.

Birkaç yan notlar:

• spark.executor.instances Ben de sayısının kavramını hafifletilmesi üzerinde çalışıyorum zaten İPLİK-sadece yapılandırma
• spark.driver.memory varsayılan 1 çekirdek

olduğunu Bağımsız modda çalışanlar, bu Spark'in bir sonraki sürümüne entegre edilebilir ve umarım, hareket halindeyken hesaplamak zorunda kalmadan tam olarak sahip olduğunuz kişi sayısını tam olarak belirlemenize yardımcı olur.