Amazon Elastic ile Numpy ve Scipy MapReduce

Question

Amazon'un Elastic MapReduce üzerinde python kodunu çalıştırmak için mrjob kullanarak EMR görüntüsünün numpy ve scipy'lerini yükseltmenin bir yolunu başarıyla buldum. konsoldan Koşu

aşağıdaki komutlar:

tar -cvf py_bundle.tar mymain.py Utils.py numpy-1.6.1.tar.gz scipy-0.9.0.tar.gz 

    gzip py_bundle.tar 

    python my_mapper.py -r emr --python-archive py_bundle.tar.gz --bootstrap-python-package numpy-1.6.1.tar.gz --bootstrap-python-package scipy-0.9.0.tar.gz > output.txt 

Bu başarıyla son numpy bot ve scipy görüntü içine ve mükemmel çalışıyor. Benim sorum hız meselesi. Bu kendini küçük bir örnekte kurmak için 21 dakika sürer.

Numpy ve scipy yükseltme işlemlerini hızlandıracak herhangi bir fikri olan var mı?

Answer 1

EMR görüntüsüne bir şey yapmanın tek yolu, önyükleme eylemlerini kullanmaktır. Bunu konsoldan yapmak, işlemeyi yapan görev düğümlerini değil, yalnızca ana düğümü değiştireceğinizi gösterir. Önyükleme eylemleri, tüm düğümlerde başlangıçta bir kez çalışır ve kabuğun çalıştırılmasını sağlayan basit bir komut dosyası olabilir.

elastic-mapreduce --create --bootstrap-action "s3://bucket/path/to/script" ... 

katran kadar kurulum sonrası dosyaları, EMR görüntüye değişiklikleri hızlandırmak ve S3 yükleyin. Sonra indirmek ve dağıtmak için bir önyükleme eylemi kullanın. Ayrı arşivleri 32 bit (mikro, küçük, orta) ve 64 bit makineler için tutmalısınız. komut S3 indirmek için

komut şöyledir:

hadoop fs -get s3://bucket/path/to/archive /tmp/archive 

Answer 2

Bu sorunun cari cevabı NumPy zaten şimdi, EMR yüklü olmasıdır.

NumPy'yi kullanılabilir olandan daha yeni bir sürüme güncellemek isterseniz, sudo yum -y install numpy'u yapan bir komut dosyasını (önyükleme eylemi olarak) çalıştırabilirsiniz. NumPy daha sonra hiçbir zaman yüklenmez.