BigQuery federe tablosunu Dataflow içinde kaynak olarak okuma Bir hata atar

Question

GGS'de bazı CSV dosyalarını işaret eden birleşik bir kaynağım var.

1226 [main] ERROR com.google.cloud.dataflow.sdk.util.BigQueryTableRowIterator - Error reading from BigQuery table Federated_test_dataflow of dataset CPT_7414_PLAYGROUND : 400 Bad Request 
{ 
    "code" : 400, 
    "errors" : [ { 
    "domain" : "global", 
    "message" : "Cannot list a table of type EXTERNAL.", 
    "reason" : "invalid" 
    } ], 
    "message" : "Cannot list a table of type EXTERNAL." 
} 

mu Dataflow BigQuery'de federe kaynaklarını desteklemek, veya yanlış bir şey yapıyorum değil:

Ben Dataflow boru hattı için bir kaynak olarak federe BigQuery masaya okumaya çalışın, aşağıdaki hata atıyor ? GCS'deki dosyaları doğrudan benim boru hattımda okuyabileceğimi biliyorum, ancak uygulamanın tasarımı nedeniyle BigQuery TableRow nesneleriyle çalışmayı tercih ederim.

PCollection<TableRow> results = pipeline.apply("fed-test", BigQueryIO.Read.from("<project_id>:CPT_7414_PLAYGROUND.Federated_test_dataflow")).apply(ParDo.of(new DoFn<TableRow, TableRow>() { 
     @Override 
     public void processElement(ProcessContext c) throws Exception { 
      System.out.println(c.element()); 
     } 
    })); 

Answer 1

Michael'in dediği gibi, BigQuery doğrudan DIŞ CEPHE (federe tabloları) veya VIEW'ları okumayı desteklemez: okuma bile etkili bir şekilde sorgu alır. Dataflow, bu tablolardan okumak için

, bunun yerine sorgu vermek ve geçici tabloya sonucu kaydedin ve sonra okuma süreci başlayacak

BigQueryIO.Read.fromQuery("SELECT * FROM table_or_view_name") 

kullanabilirsiniz. Tabii ki, bu, BigQuery'de sorgulama masraflarına neden olacaktır, bu yüzden aynı VIEW'dan veya EXTERNAL tablosundan tekrar tekrar okumak isterseniz, tabloyu manuel olarak oluşturmak isteyebilirsiniz.

Answer 2

Dataflow BigQuery kaynağı, "TABLE" türünde BigQuery yönetilen tablolarını okumak için tasarlanmıştır. (Tür tanımı https://cloud.google.com/bigquery/docs/reference/v2/tables#type'da bulunabilir.) HARİCİ ve GÖRÜNÜM tabloları desteklenmez.

BigQuery "federe tablo" özelliği, bigquery'nin Google Cloud Storage gibi yerlerde bulunan verileri doğrudan sorgulamasına izin verir. Dataflow, Google Cloud Storage'daki dosyaları da okuyabilir. Bu nedenle, Veri Akışı hesaplamalarınızı, okumak istediğiniz kaynaklarda doğrudan yönlendirebilmeniz gerekir.