22
MapReduce (Google, Hadoop) için alternatif paradigmalar var mı? &'u bölmek için büyük problemleri birleştirmenin başka bir yolu var mı?MapReduce alternatifleri
A
cevap
12
Kesin olarak. Örneğin, Bulk Synchronous Parallel'a bakın. Harita/Küçültme, aslında problemleri azaltmanın çok kısıtlı bir yoludur, ancak kısıtlamanın Hadoop gibi bir çerçevede yönetilmesini sağlar. Sorun, sorununuzu Harita/Küçültme ayarına basmanızın daha az sorun yaratması ya da alana özgü bir paralelleştirme şeması oluşturmanın ve tüm uygulama ayrıntılarının kendinize bakması daha kolay olup olmadığıdır. Pig, aslında, sadece Map-Reduce-y'den Map-Reduce-uyumlu olana kadar birçok standart problem dönüşümünü otomatikleştiren Hadoop'un üstündeki bir soyutlama katmanıdır.
Düzenleme 26.1.13: Bir nice up-to-date overview here
+3
[Apache Hama] (http://incubator.apache.org/hama/) BSP'yi uygular. Hama, Hadoop 0.23'ün bir parçası olan [YARN (Yet Another Kaynak Yöneticisi)] 'ye (http://wiki.apache.org/hama/GettingStartedYARN) yönlendirildi. Apache Hama'da bu [blog] 'u (http://codingwiththomas.blogspot.com/) kontrol edin. –
+0
Teşekkürler Praveen;) Lütfen hama hakkında daha fazla bilgi için web sitemizi ve wiki sayfamızı ziyaret ediniz http://incubator.apache.org/hama/ –
9
Phil Colella Bulunan saçılma ve işleme düğümler arasındaki verilerin toplanma modellerine dayalı bilimsel hesaplama için yedi sayısal yöntemler tespit ve onları denilen 'cüceler'. Bu başkaları tarafından eklenmiş, bir liste Dwarf Mine mevcuttur:
- Yoğun Lineer Cebir
- Seyrek Lineer Cebir
- Spektral Yöntemleri
- N-Vücut Yöntemleri
- Yapılandırılmış Izgaralar
- Yapılandırılmamış Izgaralar
- MapReduce
- Kombinasyonel Logi c
- Grafik Geçişi
- Dinamik Programlama
- Backtrack ve Şube-sınır
- Grafiksel Modeller
- sonlu durum makineleri
0
Microsoft'un Dryad MapReduce daha genel olduğu iddia edilmektedir.
2
Güncelleştirme (Ağustos 2014): Stratosphere artık Apache Flink (kuluçkalama) olarak adlandırılmaktadır.
Stratosphere'a bakın. Daha fazla operatör sunan başka bir Büyük Veri çalışma zamanıdır (harita, küçültme, birleştirme, birleştirme, çaprazlama, yineleme, ...). Ayrıca gelişmiş veri akışı grafiklerini tanımlamanıza da olanak tanır (Hadoop MR ile, zincirleme işlerini yapmanız gerekir). Stratosphere, aynı zamanda, grafik işleme soyutlamasıyla (Spargel olarak adlandırılır) BSP'yi de destekler.
Bilimsel makaleleri okumak isterseniz, Nephele/PACTs: A Programming Model and Execution Framework for Web-Scale Analytical Processing'a bakın, sistemin teorik altyapısını açıklar.
Bu alandaki başka bir sistem kendi modeline (RDD'ler) sahip olan Spark. BSP'den bahsedildiği için, BSP'ye alternatif olarak GraphLab'a da bir göz atın.
MapReduce algoritma veya paradigma değildir, teknoloji. –
@ralu: Büyük sorunlarla nasıl başa çıkılacağının birçok yolu var.MapReduce DEFINITELY sadece bunlardan biridir ve DEFINITELY hem paradigma hem de algoritmadır. Ayrıca uygulanması teknolojiye dönüşüyor, ancak uygulamalarla değil, fikirler ile ilgilenmiyorum. Teşekkür ederim. – Cartesius00
Sorununuzu neden bölünmüş ve birleşik olarak düşünürsünüz? Sadece problemi çözmelisin. Örneğin Apache Pig, SQL benzeri bir dil kullanarak beyaz veri sunar. Ve yüzlerce makinenin kümesinde çalışabilir ve Hadoop'u platform olarak kullanmasına rağmen, ayrık ve birleştirme yolu yoktur. –