SFTP'den Blob Storage'a bir dosya kopyalarken Azure Logic Uygulama yürütmeleri arasında parantezleme

Question

Yeni bir dosya eklendiğinde veya bir SFTP sunucusunda değiştirildiğinde tetiklenen bir Azure Logic Uygulaması var. Bu olduğunda dosya Azure Blob Storage'a kopyalanır ve daha sonra SFTP sunucusundan silinir. Bu işlem, dosya başına yaklaşık 2 saniye sürer.

Sahip olduğum tek sorun, bu dosyaların (ortalama 500 kb) tek tek işlenmesidir. Her gün yaklaşık 30.000 dosya aktarmayı amaçladığım için bu yaklaşım çok yavaş (18 saat civarında bir şey) oluyor.

Bu yürütmeleri ölçeklendirmek/paralelleştirmek için bir yol var mı?

Answer 1

Azure Logic Uygulaması üzerinde bir ölçeklendirme/paralelleştirme yürütme olduğundan emin değilim. güncelliği gereksinimleri çok yüksek değilse Ama deneyimlerime dayanarak, biz ForEach paralellik limiti 50 ve varsayılan Senin durumunda 20.

olduğunu, bunu yapmak için Foreach kullanabilirsiniz, benim önerim biz olabilir ki Yeni bir dosya eklendiğinde veya bir SFTP'de değiştirildiğinde tetiklemek için döngü yaptıktan sonra, depolama sırasını azure için içerik olarak dosya yoluna sahip bir kuyruk iletisi ekleyebiliriz, daha sonra döngüyü sonlandırmak için zamana veya kuyruk uzunluğuna göre ekleyebiliriz. Sıra mesajını alabiliriz. Son olarak, kuyruk mesajını alın ve foreach eyleminde blob oluşturmak için SFTP'den dosyaları getirin.

Answer 2

Eğer C# kullanıyorsanız Parallel.ForEach gibi Tom Sun dedi. Bunu kullanırsanız, IO işlemi için async/await modelini kullanmanızı öneririz (blob'a kaydet). Dosya başka bir istekte bulunmak üzere kaydedildiğinde yürütme iş parçacığını serbest bırakır.