Şu anda, Amazon S3'te her gün bir kovaya itilen 50 - 100 GB (yani milyonlarca satır) sekmeyle ayrılmış dosyadan toplanmış verileri depolamak için Amazon Redshift'i kullanıyorum.Amazon Aurora RDS'ye doğrudan Amazon S3 sekmesinden C# ile ayrılmış dosyalara toplu yerleştirmenin bir yolu var mı?
Redshift, verileri toplu yüklemek için doğrudan bir S3 paketine hedeflenebilen bir copy komutu sağlayarak bunu kolaylaştırır.
Aynı amaçla Amazon Aurora RDS kullanmak istiyorum. Aurora'daki belgeler şu an en iyisi, zayıf. Doğrudan S3'ten Aurora'ya dökme bir yol var mı?
Anlayabildiğim kadarıyla, MySql'in LOAD DATA INFILE dosyası, diskteki dosyaya bir yol gerektirir; bu, bir AWS örneğine tsv dosyasını indirip oradan komutunu çalıştırarak çalışabileceğimi sanmıyorum. .
Ayrıca, tsv'yi belleğe okumaya ve birden çok insert ifadesi oluşturmaya çalıştım. Bu açıkça yavaş ve tıknaz.
Fikirler?
GÜNCELLEME 11/2016: Aurora sürümü itibariyle
1.8 şimdi toplu yükleme S3 verilerine aşağıdaki komutları kullanabilirsiniz:
LOAD DATA FROM S3
veya
LOAD XML FROM S3