AWS lambdadaki pandalar,

Question

no'lu hatalar verir. Kodumu, pandaları içe aktaran AWS Lambda'da çalıştırmaya çalışıyorum. İşte burada yaptığım şey. Ben şöyle basit bir kod içeren bir piton dosyası var ben bir dağıtım paketi olarak numpy, pandalar ve pytz kütüphaneleri ile birlikte bu piton dosyayı sıkıştırılmış olan

import json 
print('Loading function') 
import pandas as pd 
def lambda_handler(event, context): 
    return "Welcome to Pandas usage in AWS Lambda" 

1. (Bu dosya lambda işleyicisi vardır) (mü tüm bu Amazon EC2 linux makine)
2. sonra
3. bir lambda fonksiyonunu (işletim zamanı = python3.6 oluşturuldu) ve S3
gelen dağıtım paketi yüklenmiş

S3 içine paketi yüklenmiş Ben AWS Lambda içinde lambda fonksiyonu test ederkenAma aşağıdaki hatayı alıyorum:

Unable to import module 'lambda_function': Missing required dependencies ['numpy'] 

Zaten sıkıştırılmış paketinde numpy var ama yine de bu hatayı alabilirsiniz. Pandas & AWS Lambda'da verilen ipuçlarını takip etmeye çalıştım ama şans yok.

Aynı konuya giren biri var mıydı? Bu sorunu çözmek için herhangi bir ipucu veya önerileriniz için teşekkür ederiz. python3.6 motorunu kullanmaya çalışırken

Teşekkür

Answer 1

Ben benzer bir hata ile mücadele ediyorum. 2.7'ye geçtiğimde benim için iyi çalıştı. Benim zip dosyası oluşturmak için Amazon AMI kullandım, ancak 3.6 değil sadece python3.5 vardır. Sürüm uyumsuzluğu nedeni sanırım. Ama bu sadece bir tahmin, henüz bir python3.6 kurulumunda işlemi denemedim.

Answer 2

DÜZENLEME: AWS Lambda python 3.6 çalışma ortamı ortamında phonları & numpy'yi nasıl çalıştıracağımı anladım.

aşağıdaki repo için yaptığım dağıtım paketi yükledik

: S3 ve kaynağına

zip -ur lambda.zip lambda_function.py

yükle için:

git clone https://github.com/pbegle/aws-lambda-py3.6-pandas-numpy.git

Basitçe çalıştırarak lambda_function.py zip dosyası eklemek lambda.

ORİJİNAL:

Bir lambda fonksiyonu çalışmaya pandalar aldık tek yolu piton 2.7 kullanılarak ardından this blog post gelen adımları izleyerek bir AWS Linux EC2 örneğinde pandalar (ve numpy) kütüphaneleri derlemek ve ile lambda fonksiyonum için çalışma zamanı.

Answer 3

Lambda'da ek kütüphaneler almak için onları Amazon Linux'ta derlememiz gerekir (temel kütüphane Numpy için C veya C++'ya dayanıyorsa bu önemlidir) ve bunları istediğiniz bir python betiğiyle birlikte bir ZIP dosyasına paketleyin. Lambda'da koşmak için.

Kitaplığın Amazon Linux derlenmiş sürümünü almak için. Birinin önceden derlenmiş bir sürümünü (örneğin, @pbegle gibi) bulabilir veya kendiniz derleyebilirsiniz.iki seçenek vardır o kendimizi derlemek için: - Bir EC2 örneği https://streetdatascience.com/2016/11/24/using-numpy-and-pandas-on-aws-lambda/ üzerinde kütüphanelerini derlemek - Docker ile son seçenek ardından Lambda çevre https://serverlesscode.com/post/scikitlearn-with-amazon-linux-container/

bir liman işçisi sürümüne kütüphanelerini derlemek, onu yapmak mümkündür yukarıdaki blog yayınında ve ekleyerek talimatları kullanarak çalışır:

pip install --use-wheel pandas 

komut kütüphaneler derlemeye:

https://github.com/ryansb/sklearn-build-lambda/blob/master/build.sh#L21

Answer 4

Biraz Sen Lambda'ya ile kütüphaneleri paketlemesi gereken Cannot find MySQL in NodeJS using AWS Lambda

arasında çoğaltmak. Lambda, genel bir bulut üzerinde çalıştığından, bunu yapılandıramazsınız.

Şimdi sizin durumunuzda, pandaları kullandığınız için, Panda'ları fermuarınızla paketlemeniz gerekir. Pandalara giden bir yol alın (örneğin: /Users/dummyUser/anaconda/lib/python3.6/site-packages) ve kütüphaneyi lambda işlev kodunuzun olduğu yere kopyalayın. Kodunuzun içinde, yerel kopyanızdaki pandalara bakın. Yükleme yaparken, tüm seti (kod + kitaplıkları) sıkıştırın ve istediğiniz gibi yükleyin. İşe yaramalı.