2011-06-23 17 views
7

Soruma benzer here Bazı çok işlem yapmak için çok amazon EC2 örneklerini kurmaya çalışıyorum. İşçileri yönetmek için Kerev'i kullanmayı düşünüyordum. Herhangi biri, yerel bilgisayar ile ev sahibi olarak EC2 örneklerinde çalışmak için kereviz aldı mı?EC2 örneklerini, yerel bir bilgisayarı ana bilgisayar olarak Kereviz İşçileri olarak ayarlama

Yardımcı olabilecek herhangi iyi bir öneri, eğitim, tavsiye vb. Var mı? Django'da basit asenkron işlemleri yapmak için kereviz kullandım ama bu ölçeğin hiçbiri (işçi ve ev sahipleri aynı makinede) değildi.

Ayrıca, işlemenin çoğu 'dosya tabanlı' (yani, dosyaları okuma ve yazma) 'dır ... ... dosyanın içeriğini kerevizle almak ve iletmek daha iyi olur mu (çoğu dosya 1-2kb'dir metin) veya dosya sistemini EC2 örneklerine yansıtmak ve daha sonra sadece işçilerin sonuçları döndürmesini sağlamak (genellikle metnin 0.5 kb'si).

+1

Kereviz kullanıcılarının posta listesinde [aynı soru] (https://groups.google.com/forum/?fromgroups=#!topic/celery-users/EnJGOK7kf_Y) sordum ve hala bekliyorum bir cevap için. Sonunda nasıl karar verdiğine dair bir yorum yapabilir misiniz? –

+1

@ andres.riancho Sadece uygulama kopyanızın kopyalarını yapın, tüm kopyaları mesaj komisyoncunuzda dinleyin. Uygulama makinesindeki keresteleri devre dışı bırakabilir ve diğer tüm kopyalarda kereviz çalıştırabilirsiniz. Bu şekilde, uygulama örneğiniz sıraya koyar ve kopyalar görevlerini tüketir – noahandthewhale

cevap

1

Amazon EC2 ile görev yönetimi için Amazon SQS kullandım. Bu çok ölçeklenebilir bir çözümdür. Boto, bulduğum gibi Amazon hizmetlerini yönetmek için en iyi kütüphanedir.

Büyük miktarlarda küçük dosyalar depolamak için MongoDB GridFS'yi kullanabilirsiniz, bu da yerel dosyaların oluşturduğu konserleri depolamanıza izin verecektir. MongoDB'yi kullandım ve bu tür görevler için üstün performans gösterdim. Tek sorun - 32 bit mimaride MongoDB çok sınırlı. Amazon mikroişlemciye ve daha sonra 64. Micro örnek CPU ve bellek ile çok sınırlı destekler büyük bir örnek var ve sizin ihtiyaçlarınıza uygun değilse büyük kurmak gerekir, çok pahalıya mal olabilir.

Görevlerimin mikro örneği, herhangi bir sorun yaşamadan günde 10 taneye kadar okuma/yazma başardı.

Ayrıca lütfen Spot örneklerine bakın. İsteğe bağlı olarak yaklaşık 3 kat daha ucuzdur ve onları arka plan işleme için oldukça iyi bulabilirsiniz.