multiprocessing

0ısı

1cevap

İş sonuçlarını joblib kullanarak döndürme

Bir süreyi 16 kez değerlendirmek için uzun süren bir işlev yapıyorum. Ancak, tüm bu çalışmalar birbirinden bağımsızdır. Bu yüzden Joblib kullanarak hızlandırmaya karar verdim. Joblib, olması gerektiği

1ısı

2cevap

doğru işlem yaparken dosya varlığını doğru şekilde kontrol ediliyor

Paralel işlemede denen bir işlev var, myfunc. Birden fazla işlem aynı hedef klasörü paylaştığımda, hepsi paralel olarak myfunc'u arar ve hedef klasörün varlığını kontrol eder. Zaten var olsaydı sorun

6ısı

1cevap

SQLAlchemy ve birden çok işlemle bağlantı sorunları

PostgreSQL ve SQLAlchemy'yi çocuk süreçlerini başlatan bir ana işlemden oluşan bir projede kullanıyorum. Tüm bu işlemler SQLAlchemy ile veritabanına erişir. Tekrarlanabilir bağlantı hataları yaşıyorum

14ısı

1cevap

Linux/Intel Xeon'da Python 3.6.1 ile "fork" bağlam blokları ile çoklu işlem yapılabilir mi?

Sorun açıklaması Kodu this answer'dan biraz aşağı ayarlıyorum (aşağıya bakın). Ancak bu komut dosyasını Linux üzerinde çalıştırırken (yani komut satırı: python script_name.py) tüm işler için jobs runn

5ısı

1cevap

Çoklu işlem kullanırken bellek sınırlamalarının üstesinden gelin

Evrimsel bir algoritma (CMAES) kullanarak bir işlev optimizasyonu yapıyorum. Daha hızlı çalıştırmak için çoklu işlem modülünü kullanıyorum. Optimize etmem gereken fonksiyon, aşağıdaki kodda büyük matr

10ısı

1cevap

Python multiprocessing.Queue() Kuyruk() Böyle basit bir görev var

. def worker(queue): while True: try: _ = queue.get_nowait() except Queue.Empty: break if __name__ == '__main__': manager = multiprocessing.Manager() # queue

5ısı

1cevap

Python 3 çoklu işlem. Proses içi sınıf?

B sınıfındaki girdi verilerini tüketirken verileri (büyük matris hesaplamaları) hesaplayan bazı karmaşık sınıf A var. bir kendisi çoklu çekirdek kullanır. A sonraki veri yığın ihtiyaç duyduğunda Ancak

9ısı

1cevap

Python Çoklu İşlem Havuzu Yeterli İşlemler Oluşturmuyor

40 GB veri üzerinde hesaplamalar yapıyorum. Her dosya, json satırlarını içeren sıkıştırılmış bir gzip dosyasıdır. Her dosyada en fazla 500.000 satır veya yaklaşık 500 MB bulunur. 128 cpu ve 1952 GB be

12ısı

1cevap

Windows için .NET için Python kullanarak çoklu işleme nasıl yapılır?

Şimdi Windows üzerinde çalışan C# uygulamasını geliştiriyorum. Pythonnet (.NET için Python) aracılığıyla çağrılan Python'da bazı işlemler yazılır. Süreçler hesaplama-ağırdır, bu yüzden bunları paralel

10ısı

1cevap

çoklu işleme.Yalnızca yalnızca Google Cloud'da istenenden daha fazla süreç yumurtlama

İşlemler arasında görevleri dağıtmak için Python'un çoklu işleme özelliğini kullanıyorum. basit vaka beklendiği gibi çalışır: from multiprocessing import Pool def evaluate: do_something() poo