Flask kullanarak REST API ile eğitimli Tensorflow modelini sunun mu?

Question

Eğitimli bir Tensorflow modelim var ve REST API ile tahmin yöntemini sunmak istiyorum. Düşünebildiğim şey, JSON'ı girdi olarak alan basit bir REST API'sı oluşturmak için Flask'ı kullanmak ve ardından Tensorflow'da tahmin yöntemini çağırmak ve sonra tahmini sonucu istemci tarafına döndürmektir.

Özellikle üretim ortamında bu şekilde yapmak için herhangi bir endişe olduğunu bilmek ister misiniz?

Çok teşekkürler!

Answer 1

Aklıma gelen ilk sorun performanstır.

TensorFlow ekibi, sunucu/istemci kullanımı üzerinde çalışmış gibi görünüyor. tensorflow serving'a bakmak isteyebilirsiniz. Varsayılan olarak iletişim protokolü için gRPC'yi kullanır.

Answer 2

Flask + TensorFlow hizmetini iş başında kullanıyoruz. Bizim düzenimiz, modellere hizmet etmenin en uygun yolu olmayabilir, ancak işi hallediyor ve bu bizim için iyi çalışıyor.

1. tfserving inşa etmek sonsuza kadar sürer Çünkü
   , bir liman işçisi görüntüsünü inşa (değil GPU desteği ya da bir şey, ama sadece bir model sunumu için çalışır ve daha hızlı ve daha iyi hizmet daha var:

   kurulum şudur doğrudan büyük bir Python/Flask monolit içinde). Model sunucu görüntüsü şu adreste bulunabilir:

2. Daha sonra Flask bir API kurmak için kullanılır. Model sunucusuna istek göndermek için bir grcp tahmin istemcisine ihtiyacımız var, bu yüzden Python'da bir tanesini doğrudan API API'sine (https://github.com/epigramai/tfserving_predict_client/) aktaracağız.

Buradaki iyi şey, modelin Flask API uygulaması tarafından sunulmamasıdır. Docker görüntü modeli sunucusu, docker kabı yerine, makine donanımı için derlenmiş bir GPU üzerinde çalışan bir model sunucusu ile kolayca değiştirilebilir.