Yerel sistemden dizini hdfs java koduna kopyalama

Question

Yerel sistemimden bir dizini java kodu kullanarak HDFS'ye kopyalamaya çalışırken sorun yaşıyorum. Tek tek dosyaları taşıyabiliyorum, ancak tüm dizini alt klasörler ve dosyalar ile taşımanın bir yolunu çözemiyorum. Biri bana bununla ilgili yardım edebilir mi? Şimdiden teşekkürler.

Answer 1

Yalnızca FileSystem ürününün copyFromLocalFile yöntemini kullanın. Kaynak Yolu o HDF'ler hedefe kopyalanır yerel dizin ise: İşte

... 
Configuration conf = new Configuration(); 
conf.addResource(new Path("/home/user/hadoop/conf/core-site.xml")); 
conf.addResource(new Path("/home/user/hadoop/conf/hdfs-site.xml")); 

FileSystem fs = FileSystem.get(conf); 
fs.copyFromLocalFile(new Path("/home/user/directory/"), 
    new Path("/user/hadoop/dir")); 
... 

Answer 2

okuyup HDF'ler için yazmayı tam çalışma kodudur. İki argüman

1. Girdi yolu (yerel/HDF'ler)

2. Çıktı yolu (HDF'ler) Ben Cloudera sandbox kullanılan

sürer.

package hdfsread; 

import java.io.BufferedInputStream; 
import java.io.FileInputStream; 
import java.io.IOException; 
import java.io.InputStream; 
import java.io.OutputStream; 
import java.net.URI; 

import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.fs.FileSystem; 
import org.apache.hadoop.fs.Path; 
import org.apache.hadoop.io.IOUtils; 

public class ReadingAFileFromHDFS { 

    public static void main(String[] args) throws IOException { 
     String uri = args[0]; 
     InputStream in = null; 
     Path pt = new Path(uri); 
     Configuration myConf = new Configuration(); 
     Path outputPath = new Path(args[1]); 

     myConf.set("fs.defaultFS","hdfs://quickstart.cloudera:8020"); 
     FileSystem fSystem = FileSystem.get(URI.create(uri),myConf); 
     OutputStream os = fSystem.create(outputPath); 
     try{ 
      InputStream is = new BufferedInputStream(new FileInputStream(uri)); 
      IOUtils.copyBytes(is, os, 4096, false); 
     } 
     catch(IOException e){ 
      e.printStackTrace(); 
     } 
     finally{ 
      IOUtils.closeStream(in); 
     } 
    } 
}