amazon-data-pipeline

0ısı

1cevap

AWS Data Pipeline'da ShellCommandActivity

Veri Boru Hattı'nı kullanarak Dynamo DB verilerini S3'e aktarıyorum. S3 kepçesinde yedeği aldım ancak birden çok dosyaya bölünmüş durumda. aws s3 cat #{myOutputS3Loc}/#{format(@scheduledStartTime,'YYY

0ısı

1cevap

AWS Veri Aktarım verileri S3'ten Redshift'e veri kopyalama verileri

Bazı CSV günlük verilerini S3'ten bir Redshift Cluster'a almak için bir AWS Veri Aktarımı kurdum. Benim Redshift veritabanı tablosu aşağıdaki yapıya sahiptir: "172.20.2.224", "boş", "boş", "2016: İşte

7ısı

3cevap

Otomatik AWS DynamoDB - S3 dışa aktarma başarısız "role/DataPipelineDefaultRole geçersiz"

this page üzerindeki adım adım yönergeleri izleyerek, DynamoDB tablolarımdan birinin içeriğini bir S3 grubuna aktarmaya çalışıyorum. Ben tam olarak belirtildiği gibi bir boru hattı oluşturuyorum, anca

6ısı

1cevap

AWS Datapipeline RedShiftCopyActivity - "sütunlar" belirtme

RedShiftCopyActivity ve bir veri yolu kullanarak bir grup csv dosyasını S3'ten Redshift'e kopyalamaya çalışıyorum. Bu, csv yapısının tablo yapısıyla eşleştiği sürece iyi çalışır. Benim durumumda csv t

5ısı

1cevap

AWS Emr'de Mxnet başarısızken Hadoop akış işi

AWS veri yolunda bir emr adımı ayarlıyorum. adım komut şuna benzer: /usr/lib/hadoop-mapreduce/hadoop-streaming.jar,-input,s3n://input-bucket/input-file,-output,s3://output/output-dir,-mapper,/bin/cat,