System from Hbase MapReduce

Question

için kısa metin dosyası okuyun. Metin dosyasından Map Reduce'a veri yüklemem gerekiyor, Günlerce gözümü kırpıyorum ama işim için doğru bir çözüm bulamadım. Bir sistemden bir metin/csv dosyası okuyan ve verileri HBASE Tablosuna kaydeden herhangi bir Yöntem veya Sınıf var mı? Benim için gerçekten çok acil olduğunu lütfen bana yardımcı olabilir MapReduce F/w Knowing.

Answer 1

Metin dosyasından okuma için tüm metin dosyası önce hdfs içinde olmalıdır. Bu iş için giriş biçimini ve OutputFormat belirtmek gerekir

Job job = new Job(conf, "example"); 
FileInputFormat.addInputPath(job, new Path("PATH to text file")); 
job.setInputFormatClass(TextInputFormat.class); 
job.setMapperClass(YourMapper.class); 
job.setMapOutputKeyClass(Text.class); 
job.setMapOutputValueClass(Text.class); 
TableMapReduceUtil.initTableReducerJob("hbase_table_name", YourReducer.class, job); 
job.waitForCompletion(true); 

YourReducer gerektiği org.apache.hadoop.hbase.mapreduce.TableReducer<Text, Text, Text>

Numune redüktör kodunu uzanır

public class YourReducer extends TableReducer<Text, Text, Text> {  
private byte[] rawUpdateColumnFamily = Bytes.toBytes("colName"); 
/** 
* Called once at the beginning of the task. 
*/ 
@Override 
protected void setup(Context context) throws IOException, InterruptedException { 
// something that need to be done at start of reducer 
} 

@Override 
public void reduce(Text keyin, Iterable<Text> values, Context context) throws IOException, InterruptedException { 
// aggregate counts 
int valuesCount = 0; 
for (Text val : values) { 
    valuesCount += 1; 
    // put date in table 
    Put put = new Put(keyin.toString().getBytes()); 
    long explicitTimeInMs = new Date().getTime(); 
    put.add(rawUpdateColumnFamily, Bytes.toBytes("colName"), explicitTimeInMs,val.toString().getBytes()); 
    context.write(keyin, put); 


     } 
    } 
} 

Numune mapper sınıf

public static class YourMapper extends Mapper<LongWritable, Text, Text, IntWritable> { 
private final static IntWritable one = new IntWritable(1); 
private Text word = new Text(); 
public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { 
    String line = value.toString(); 
    StringTokenizer tokenizer = new StringTokenizer(line); 
    while (tokenizer.hasMoreTokens()) { 
     word.set(tokenizer.nextToken()); 
     context.write(word, one); 
     } 
    } 
}