Son zamanlarda kendime farklı SPARK ayarlarına spark.executor.memory, SPARK_WORKER_MEMORY, SPARK_MEM, SPARK_MASTER_MEMORY arasında karışık biraz, ve SPARK_WORKER_INSTANCES için ilişkiyi ve SPARK_WORKER_CORESKıvılcım Yapılandırma: bellek/örnek/çekirdekler
Ben bu yazı buldum ama öyle bulduk tartışmayacaksınız SPARK_MASTER_MEMORY Spark Configuration: SPARK_MEM vs. SPARK_WORKER_MEMORY
Öncelikle terimlerle ilgili birkaç kelime. Spark master, kökenlerden kaynak ayırmayı koordine eden bir uygulamadır. Master herhangi bir hesaplama yapmaz. Master sadece kaynak yöneticisidir.
Kıvılcım çalışanı, belirli bir düğümdeki kaynakları koordine eden çalışan düğümündeki uygulamadır.
Spark executor, sürücü için çalışan düğümündeki görevleri gerçekleştiren bu görevli tarafından oluşturulan uygulamadır.
Kontrol Ek ayrıntılar için bu doc - http://spark.apache.org/docs/latest/cluster-overview.html
spark.executor.memory - uygulamakla için bellek miktarıdır. Bu bellek verilen kullanıcı görevi için kullanılır.
SPARK_WORKER_MEMORY - Çalışan tarafından düğümde yürütücüler oluşturulmasında ne kadar sistem belleği kullanılabilir. Örneğin, düğümde 64gb var. SPARK_WORKER_MEMORY değerini 60gb olarak ayarladınız. Bu, 2 x 30g uygulayıcılar veya 10 x 6 gb uygulayıcıları vb. Oluşturabileceğiniz anlamına gelir.
SPARK_MEM AFAIK artık kullanılmamaktadır. Şu andaki belgelerinde bulamıyorum
SPARK_MASTER_MEMORY, master için bellektir. Yüksek :)
SPARK_WORKER_CORES için olmamalıdır çekirdek sayısı
SPARK_WORKER_INSTANCES işçi düğümü başına çalışan sayısı her bir işçi tarafından uygulayıcıları tarafından kullanılacak olan. SPARK_WORKER_MEMORY eğer = 60GB, 1esha @http://spark.apache.org/docs/latest/spark-standalone.html
Teşekkür ve biz 2 executors sonra = 30g spark.executor.memory gerektiğini istemek veya bu otomatik olarak ayarlanır -
Bütün bu parametreler burada açıklanmıştır? ya da spark.executor.memory 10g gibi başka bir şeye ayarlanabiliyor ve SPARK_WORKER_MEMORY sonra 2 exec ile 20g olarak değiştirilecek mi? – Oscar
Oscar, SPARK_WORKER_MEMORY, düğüm başına yürütücüler için toplam bellektir. Her biri 64gb olan iki düğümünüz varsa ve kıvılcım yürütücüler için düğüm başına 60GB'a kadar harcamak istiyorsanız SPARK_WORKER_MEMORY değerini 60gb olarak ayarlayın. Bu, yürütücüler için düğüm başına 60 gb ayırır. Ardından, sürücünüzde 'spark.executor.memory' ayarını yapabilirsiniz. Düğüm başına ne kadar bellek ayırmak SPARK_WORKER_MEMORY. Bunu 10gb'ye ayarlarsanız, her bir düğümden 20 gb - 10 gb alır. – 1esha