gnu çeşitli örneklerde birden çok dosyayı işleme paralelleştirme

Question

Birçok veritabanı örneğinde birçok dosyayı işlemek istiyorum. Örnekler çeşitli bilgisayarlarda, bir bilgisayar 4 örneğe kadar barındırabilir.

bir işlem Bash kabuk üzerinden bir örnek üzerinde çalıştırılır:

process-on.sh <file_to_process> <instance_name> 

process-on.shinstance_name gelen örneği (sunucu, komut adı, vs.) ulaşmak için bilir. Aynı unix istemcisi, bir ana bilgisayardaki tüm örneklerin işlemlerini çalıştırmak için kullanılır, yalnızca uzak komut dosyası adı değişir.

Örneklerin, bir işlemci havuzu görevi görmesini ve örnekler arasında dosya dağıtıcısı olarak gnu-parallel kullanmak istiyorum.

ben gnu-paralel kullanmak istiyorum ama bilgisayarlar değil, isntances arasında dağıtmak için esas olan ... Belki Herhangi ipuçları çok takdir edilecektir

havuzlu kullanabilen başka bir araç var ...

. arama tablosu belki çeşit -

En

, Christophe

Answer 1

Bir örneğin bir sayı dönüştürmek için bir yol gerekir.

instances=13 
parallel -j$instances 'sleep 0.$RANDOM; echo this is file {} being processed on instance {%}' ::: {1..100}