Verileri kopyalanmadan doğrudan hdfs dosyasına aktarın

Question

Yerel düğümde saklamaksızın podhon kullanarak veriyi doğrudan hdf'ye yazabildiğim ve sonra copyfromlocal kullanarak farklı seçenekler arıyorum.

Ben HDF'ler, argüman olarak çizgi ile aşağıdakilerden şey yerel dosya ve kullanım yazma yöntemine benzer dosyasını kullanmak istiyorum:

hdfs_file = hdfs.create("file_tmp") 
    hdfs_file.write("Hello world\n") 

yukarıda açıklanan kullanım örneğine benzer bir şey var var mı?

Answer 1

Im bir piton HDF'ler kütüphanesinde hakkında emin, ama her zaman bir Hadoop fs aracılığıyla akışı komutu koymak ve kullanma stdin'i gelen kopyalama göstermek edemez '-' kaynak dosya adı olarak:

hadoop fs -put - /path/to/file/in/hdfs.txt