Amazon S3 100 PutObject çağrısı ile yüksek CPU kullanımı (.NET)

Question

500K veri depolamak için Amazon S3 kullanıyoruz. EC2 örneğinde kurulu bir .NET 4.0 web hizmetimiz var, bu da PutObject çağrısını 500K veriyle yapıyor.

sorun olduğunu biz S3 sırasıyla bu hizmete (benzersiz S3 tuşlarıyla) 100'den fazla eşzamanlı çağrı yapmak ve EC2 örneği CPU% 100 isabet zaman. Web hizmetinde bir profil oluşturduk ve işlem süresinin% 99'unun AmazonS3Client.PutObject yöntemi tarafından alındığını gösteriyor.

Biz (yerine varsayılan HTTPS) HTTP kullanmaya S3 istemcisi yapılandırılması çalıştı ve aynı zamanda S3 anahtarları nesil şeması ile biraz oynadı, ama hiçbir şey yardımcı olduk. Bu makale Amazon S3 PutObject is very slow ya da yardımcı olmadı.

Bizim S3 anahtar şeması yer almaktadır: "111_ [artan ID] .txt"

biz daha kısa verileri kullanmak, bu kapsamlı CPU kullanımı olmaz - 1K daha az gibi.

Bize CPU performansını artırmak için yapılabilir ya da nereye bakmak ne bazı rehberlik verebilir misiniz?

Ve işte o çağrı için kaynak kod:

string fileName = "111_" + Id + ".txt"; 
using (AmazonS3 client = Amazon.AWSClientFactory.CreateAmazonS3Client(RegionEndpoint.XXXX)) 
     { 
      try 
      { 
PutObjectRequest request = new PutObjectRequest(); 
request.WithContentBody(dataRequest.Base64Data) 
       .WithBucketName(bucketName) 
       .WithKey(fileName); 

S3Response response = client.PutObject(request); 
response.Dispose(); 
      } 
      catch (AmazonS3Exception amazonS3Exception) 
      { 
       //Handle exceptiom... 
      } 
     } 

teşekkürler!

Answer 1

Düşük düzeyli PutObject çağrıları yerine TransferUtility üst düzey sınıfını deneyebilirim. http://docs.aws.amazon.com/sdkfornet1/latest/apidocs/html/T_Amazon_S3_Transfer_TransferUtility.htm