1. ev
  2. Soru-cevap
  3. Cloud Storage'e yeni dosyalar eklendiğinde Dataflow işini tetikleme

Cloud Storage'e yeni dosyalar eklendiğinde Dataflow işini tetikleme

2016-04-01 28 views
1

Bir BigQuery tablosuna yeni verileri işlemek ve eklemek için yeni bir dosya eklendiğinde bir Dataflow işini tetiklemek istiyorum. can be triggered Cloud Functions işlevini kovadaki değişikliklerle görüyorum, ancak gcloud node.js library'u kullanarak Dataflow işini başlatmanın bir yolunu bulamadım.Cloud Storage'e yeni dosyalar eklendiğinde Dataflow işini tetikleme

Bunu, Cloud İşlevleri'ni kullanarak yapmanın bir yolu var mı, yoksa istenen sonucu elde etmenin alternatif bir yolu var mı (dosyalar bir Depolama Kovasına eklendiğinde, BigQuery'ye yeni veri eklemek)?

kaynak

2016-04-01 numentar

+2

; Bu yardımcı olur mu? http://stackoverflow.com/questions/35415868/launching-cloud-dataflow-from-cloud-functions –

+0

Teşekkürler, bu gerçekten yararlıdır. Dataflow Python SDK kullanıyorum ama umarım bu bir sorun olmaz. – numentar

+0

Lütfen düzenlenmiş cevabımı inceleyin. – jkff

cevap

2

Bu Apache Beam'de 2.2 ile başlayan desteklenmektedir. Bakınız Watching for new files matching a filepattern in Apache Beam.

kaynak

2016-04-01 20:31:50 jkff

+0

, Google Cloud veri akışında (beam) 2017'de bu süreci daha kolay hale getiren yeni özellikler var mıydı? :) – jimmy

+1

Belirtilen JIRA sorunu - ya da daha doğrusu, ilgili tasarım https://s.apache.org/splittable-do-fn ile birlikte BEAM-65 alt konusu, çok ilerleme kaydedildi ve benim üstüme Şu anda öncelik. Bu özel özellik henüz uygulanmadı, ancak Split DoFn tasarımı kendini tüm koşucularda çalıştığında (şu anda Direct runner'da çalışıyor, Dataflow akışında ve Flink koşucularında prototip çalışıyor ve Apex ve Spark ile devam ediyor)), bunun üzerine uyguladığımız ilk kullanım durumları arasında yer alacaktır. – jkff

+0

Uyguladığıma işaret etmek için cevabımı düzenledim. – jkff

 İlgili konular

  • İlgili sorun yok^_^