2016-03-25 15 views
0

Aşağıdaki veriler örnek var:Pig Latin ayırt edici Harita veya azaltın sorguları

AGE,EDU,SEX,SALARY 
67,10th,Male,<=50K 
17,10th,Female,<=50K 
40,Assoc-voc,Male,>50K 
35,Assoc-voc,Male,<=50K 
57,Assoc-voc,Male,<=50K 
49,Assoc-voc,Male,>50K 
42,Bachelors,Male,>50K 
30,Bachelors,Male,>50K 
23,Bachelors,Female,<=50K 

========================== =========

sensitive = LOAD '/mdsba' using PigStorage(',') as (AGE,EDU,SEX,SALARY); 
    *--Filtered the data by the salary 
    Data_filter1 = FILTER sensitive by (SALARY matches '<=50K'); 
    Data_filter2 = FILTER sensitive by (SALARY matches '>50K'); 
    --group both filters 
    B= foreach(group Data_filter1 by(AGE,EDU,SEX)) 
    generate Data_filter1; 
    C= foreach(group Data_filter2 by(AGE,EDU,SEX)) 
    generate Data_filter2; 
    Dump B ; 
    Dump C ; 

: ====================

aşağıdaki Domuz Latince/Hadoop senaryoyu yarattı ================================================== ==

B, C, Data_filter1 veya Data_filter2 Haritası'nda çalıştırmak veya işlemi azaltın sorgular olup olmadığını belirlemek için herhangi bir yolu var mı. Ile

Elapsed: 35sec 
Diagnostics: 
Average Map Time: 12sec 
Average Shuffle Time: 10sec 
Average Merge Time: 0sec 
Average Reduce Time: 2sec 

çok teşekkür

cevap

0

işi başlatıyoruz Evet, göreceksiniz bir dize

org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - detailed locations: M: Alias1[73,14] C: Alias2[20, 9] R: Alias3[90, 78] 

M standları: Aşağıdaki rapor işinin sonunda oluşturulan bu yana mapper için, birleştirici için C, redüktör için R. Ancak genel durumda sorgularınızın hem Eşleştiricisi'hangi çalıştırın ve

redüktör olacak olasılığı vardır