google-cloud-dataflow

0ısı

1cevap

Geriye dönük uyumlu bir kodlayıcı ile bir dönüşüm için kodlayıcı değiştirme

Özel bir uygulama için bir Coder (StringUtf8Coder) nasıl değiştirileceğini anlamaya çalışıyorum. import com.google.cloud.dataflow.sdk.coders.ByteArrayCoder; import com.google.cloud.dataflow.sdk.coder

12ısı

1cevap

import apache_beam metaclass çakışması

Apache ışınını almayı denediğimde aşağıdaki hatayı alıyorum. Ben google bulut platformunda çalışabiliyor sürümü gerekir olarak pip ile google-bulut veri akışı yükleyerek apache_beam yüklemiş olduğu bi

2ısı

1cevap

PubSubIO'dan iletiyi ve isteğe bağlı özellikleri nasıl alırsınız?

PubSub ile ilgili bir konuğum var ve konudan okuyan veri mesajında bir boru hattı oluşturmak istiyorum. Bunları mesaj verilerine göre sınıflandırıyor ve özellik anahtarı değer çiftlerini okuyor. Pub

1ısı

1cevap

GroupByKey.GroupByKeyOnly için kayıtlı bir çevirmen yok

Veri akışını kullanarak GoGroupByKey yapmaya çalışırken bu hatayı çalıştıran. Yüksek düzeyde, iki PCollection türünü KV<String, self-defined-class> türüne ve KV<String, TableRow> türünden birine katıl

2ısı

2cevap

BigQuery federe tablosunu Dataflow içinde kaynak olarak okuma Bir hata atar

GGS'de bazı CSV dosyalarını işaret eden birleşik bir kaynağım var. 1226 [main] ERROR com.google.cloud.dataflow.sdk.util.BigQueryTableRowIterator - Error reading from BigQuery table Federated_test_data

1ısı

1cevap

Veri akışında Write.to (Sink) cinsinden çıkış no değerini ayarlayın

Veri akışında PCollection.apply(Write.to(MySink)) numaralı telefonu arayarak yazdığım (XmlSink.java için çok daha basit) özelleştirilmiş bir lavabo kullanıyorum. Ancak, varsayılan olarak Write.to numa

1ısı

2cevap

Cloud Storage'e yeni dosyalar eklendiğinde Dataflow işini tetikleme

Bir BigQuery tablosuna yeni verileri işlemek ve eklemek için yeni bir dosya eklendiğinde bir Dataflow işini tetiklemek istiyorum. can be triggered Cloud Functions işlevini kovadaki değişikliklerle gör

5ısı

1cevap

Apache Kiriş: FlatMap vs Map?

FlatMap veya Map'i kullanmam gereken senaryoyu anlamak istiyorum. The documentation bana açık görünmedi. Hala hangi senaryoda FlatMap veya Map dönüşümünü kullanmam gerektiğini anlamıyorum. Birisi bana

2ısı

1cevap

HTTP isteği sırasında Google Dataflow ve Bigquery Transport hatası

BigQueryIO.Read kullanarak google veri akışında "HTTP isteği sırasında taşıma hatası" alıyorum. Kodu: PipelineOptionsFactory.register(UserClickOptions.class); DataflowPipelineOptions options = P

0ısı

1cevap

dataflow Toplu İş ve Kotalar

, bir toplu iş, neden benim işim tutulmazsa bu yana Project <my project> has insufficient quota(s) to execute this workflow benzer bir hata alıyorum?