Celery'da işçi kimliğini alın

Question

Dört Tesla kartlı bir GPU sunucusunda işleri çalıştırmak için Kereceyi kullanmak istiyorum. Kereste çalışanını dört işçiden oluşan bir havuzla işletiyorum, böylece her kart her zaman bir iş çalıştırır.

Sorunum, işçilere her bir hak talebine bir GPU nasıl yönlendirileceğidir.

device_id = os.getpid() % self.ndevices 

Ancak, bu, her zaman çalışacağı garanti edilmez işçi süreçleri zamanla yeniden olsun yani: Şu anda çalışan işlemler tüm bitişik süreç kimlikleri edeceği varsayımına dayanır. İdeal olarak, her çalışanın kimliğini doğrudan almak istiyorum. Birisi işçiden bir görevin denetlenmesinin mümkün olup olmadığını veya işlerin GPU'larda dağıtılması için farklı bir çözüm önerisinde bulunabileceğini söyleyebilir mi?

from billiard import current_process 
from celery import task 

@task 
def print_info(): 
    # This will print an int in [0..concurrency[ 
    print current_process().index 

index 0-tabanlı olduğunu ve bir işçinin olursa: Eğer CELERYD_POOL = 'processes' kullanıyorsanız

Answer 1

, işçi havuz onun 0 tabanlı süreç endeksi açığa oluyor ki, billiard tarafından ele alınır yeniden başlatılması endeksini koruyacaktır.

olsa index değerine ilişkin herhangi bir belge bulamadı: Aslında dört süreçlerini çoğaltılır bir işçinin vardır:/