Google Cloud Storage'de 32'den fazla dosya birleştirme

Question

Google Compute Engine'de bir Google Cloud Storage çıktı almak için çalışan bir Apache Spark komut dosyası var. Cloud Storage klasöründe 300'den fazla part-00XXX dosyam var. Onları birleştirmek istiyorum.

Denedim:

poiuytrez@spark-m:~$ gsutil compose gs://mybucket/data/* gs://mybucket/myfile.csv 

Ama bu hata var: bütün tezler parça dosyaları birleştirmek için bir çözümün

CommandException: "compose" called with too many component objects. Limit is 32. 

Herhangi bir fikir?

Answer 1

Yalnızca bir nesneyi yalnızca bir istekte yazabilirsiniz, ancak bileşik bir nesnede 1024'e kadar bileşen bulunabilir. Özellikle, 0-31 nesnelerini, 0 ', 32-63,' 1 ', vb. Nesnelerine yazabilirsiniz - o zaman bu bileşik nesnelerin her biri (0', 1 ', ..., floor) oluşturularak tekrar oluşturulabilir (300/32) ').