apache-pig

5ısı

1cevap

Domuz etkileşimli kabuk ortamında bazı hatalı komutları girdiğimde, aşağıdaki gibi dinleme moduna (>>) girer. Bu komuttan nasıl güvenle çıkarım ama yine de domuz kabuğu ortamında kalıyorum. Ctrl + C b

9ısı

1cevap

Domuz, nasıl sonra alanı belirten bir katılmak ve bir grup ı Pig Bu kodu var

tarafından (kazan, istek ve yanıt sadece tabloları dosya sisteminin doğrudan yüklenen vardır): win_request = JOIN win BY bid_id, request BY bid_id; win_request_response = JOIN win_request BY win.bid_

14ısı

1cevap

Pig

'da başka bir dizenin içinde bir dizenin bulunup bulunmadığını bulma Bir dizenin Pig içinde başka bir dizgi içerip içermediğini bulmak istiyorum. Yerleşik bir index işlevi bulundu, ancak yalnızca dize

7ısı

2cevap

PIG'deki UNION sonuçlarını tek bir dosyada saklamak

Dört sonuç üreten bir PIG Komut Dosyası sahibiyim Hepsini tek bir dosyada saklamak istiyorum. UNION kullanmayı denedim, ancak UNION kullandığımda dört dosya bölümü m-00000, part-m-00001, part-m-00002,

6ısı

2cevap

Hadoop PIG Maksimum Tuple

Pig 'da bir tuple'ın MAX'u nasıl bulabilirim? A,20 B,10 C,40 D,5 data = LOAD 'myData.txt' USING PigStorage(',') AS key, value; all = GROUP data ALL; maxKey = FOREACH all GENERATE MAX(data.value

5ısı

1cevap

İşleme Json Pig aracılığıyla Scripts

Şu anda JSON dosya ve PIG komut dosyalarını kullanarak işlem verileri ile çalışmaya başladık. Domuz versiyonu 0.9.3 kullanıyorum. PiggyBank'a rastladım ve PIG komut dosyalarında json dosyasını yükleme

8ısı

1cevap

Nasıl Yapılır: Python UDF sözlük dönüş şeması PIG'de

Apache PIG kullanırken Python UDF'den bir sözlük döndüren çıktı şeması nedir. Ben sözlükleri sözlüğü, böyle bir şey var: dict = {x:{a:1,b:2,c:3}, y:{d:1,e:3,f:9}} ve benim çıkış şeması haritaya bunu

8ısı

1cevap

Domuz Koşullu Operatörler

aşağıdaki if (b == 1) { a = 'abc'; else if (b == 2) { a = 'xyz'; else // retain whatever is there in the column 'a'

5ısı

2cevap

Apache Pig ile Pivot tablo

Bir tabloyu Apache Pig içinde tek geçişte döndürmenin mümkün olup olmadığını merak ediyorum. Girdi: Id Column1 Column2 Column3 1 Row11 Row12 Row13 2 Row21 Row22 Row23 Çıktı: Id Name Value 1 C

5ısı

2cevap

domuz eğri büyük bir tabloyla birleşiyor "Bölünmüş meta veri boyutu 10000000 değerini aştı"

Küçük (16M satır) ayrı bir tablo ve büyük (6B satır) eğik tablo arasında bir domuz birleşimi var. Düzenli birleştirme işlemi 2 saat sonra sona erer (bazı değişikliklerden sonra). using skewed'u denedi