Yerel olarak çalışan bir pyspark kümem var ve büyük sorgudan veri yüklemek istiyorum. Sunucudan sunucuya json kimlik bilgileri dosyasını oluşturdum Şimdi bunu koduma nasıl aktarabilirim? TIAYerel makinede çalışan pyspark'tan bigquery'ye kimlik bilgileri nasıl iletilir
Bir araçtaki Google'ın API'larıyla konuşmak için kod yazarken, kullanmak istediğim proje kapsamında Hizmet Hesabı Kimlik Bilgileri oluşturuyorum, bunları indirin ve sonra istemciyi bu kimlik bilgileriyle başlatın.
Python'dan, kimlik bilgilerini oluşturmak için oauth2client.client.SignedJwtAssertionCredentials kullanırım ve bu kimlik bilgilerini, credentials anahtar sözcüğü parametresini apiclient yapıcısına kullanarak iletirim. gibi bir şey: Eğer Toplu Veri Sorgulama Aracı hizmetini kullanırken
key_bytes = ... # read your downloaded key from somewhere
bigquery_service = discovery.build(
'bigquery', 'v2',
credentials=oauth2client.client.SignedJwtAssertionCredentials(
'[email protected]',
key_bytes,
['https://www.googleapis.com/auth/bigquery'],
private_key_password='notasecret',
user_agent=_CLIENT_USER_AGENT))
Ardından, kimlik iletilecek.
Lütfen sorunuzu genişletin. BigQuery ile konuşmak için kendi python bağlantı kodunuzu yazmak istediğiniz gibi geliyor. Durum böyle değilse, BigQuery Bağlayıcısı'nı şu şekilde kullanmayı düşünün: https://cloud.google.com/hadoop/examples/bigquery-connector-spark-example –