Cascalog Hadoop sürümü desteği

Question

Ben Cascalog başlarken kılavuzu fark

:profiles { :dev {:dependencies [[org.apache.hadoop/hadoop-core "1.0.3"]]}} 

Hadoop'un

bir sürümünü belirtir? Cascalog'un hangi dizi Hadoop versiyonunda çalıştığı daha geniş kapsamlı?

Answer 1

Basit yanıt şu anda (10 Ağustos 2014 itibariyle) Cascalog 2.1.1 sürümünde ve varsayılan olarak Cascading 2.5.3 ve Hadoop 1.2.1 kullanıyor, bu yüzden eğer ekibiniz Hadoop sürüm 1'i kullanmıyorsa evet. x o zaman şansın yok. Bununla birlikte, Cascalog, Hadoop 2.x'e taşınabilmiştir. , Basamaklı-hadoop.jar ve basamaklı-hadoop2 iki Java bağımlılıkları sağlayarak

2,5 destekleri Hadoop 1.x ve 2.x hem Basamaklı: Basamaklı 2.5.x docs Hadoop 1 vs Hadoop 2 den Hadoop'un 2 desteği vardır -mr1.jar. Bu bağımlılıklar birbiriyle değiştirilebilir ancak hadoop2-mr1.jar yeni tanıttı ve uygun olduğunda eski API çağrılarını kullanımdan kaldırır. Dikkat edilmelidir hadoop1-mr1.jar sadece MapReduce 1 API sözleşmelerini destekler. Bu adlandırma şeması ile bağımlılıklar üzerinde çarpışmaların isimlendirilmesi riski olmadan yeni API sözleşmeleri uygulanabilir.

• Güncelleme HADOOP-VERSION yapılandırma dosyasında project file
• Güncelleme Hadoop sürümü basamaklı-Hadoop kavanoz
• bul:

aşağıdaki Hadoop 2.x için Cascalog güncellenmesi için bir naif bir rehberdir Kullanımdan kaldırılmış Cascading API'nin tüm kullanımları ve yeni sözleşmelere güncellenmesi.

Derleme ve düzeltmek uyarı/hata

Ben Cascalog kaynağında hiçbir uzman değilim, ama API Basamaklı kullanımları grep birkaç satır ile bulundu ve API yükseltme oldukça düz görünüyor olabilir tekrarlanmasını ileri, biraz sıkıcı ise.