Makinelerin kümelerinde Hadoop ve Map-Reduce ile ilgili çok şey okudum. Apache dağıtımının birkaç çekirdekli SMP'de çalıştırılabileceğini bilen biri var mı? Özellikle, aynı makinede birden fazla Harita Azaltma işlemi gerçekleştirilebilir. Zamanlayıcı, bunları birden fazla çekirdek arasında yaymaya özen gösterecektir. Teşekkürler. - KGÇok çekirdekli makinelerde Hadoop ve harita küçültme
Evet. Birden harita var ve RAM ve CPU tarafından belirlenir her makinede yuvaları azaltmak hadoop wiki
den(her JVM örneği böylece 16 çekirdekli bir 8GB makine hala 7 görev yuvaları olmalıdır varsayılan olarak 1GB gerekiyor)
Bir TaskTracker'da eşzamanlı olarak oluşturulan eşleme sayısını/sayısını azaltmak için mapred.tasktracker.map.tasks.maximum ve mapred.tasktracker.reduce.tasks.maximum yapılandırma düğmesini kullanın. Varsayılan olarak, , 2 olarak ayarlanır, dolayısıyla bir GörevTracker üzerinde verilen bir örneğinde en fazla 2 harita ve 2 azaltma görür.
Sen (yani beefier TaskTracker vb daha yüksek nos için bu. Ayarlayın) doğru donanımınızı yansıtacak başına TaskTracker bazında olanlar ayarlayabilirsiniz.
Çok çekirdekli bilgisayarlar için bu hafif MapReduce çerçevelerini kullanabilirsiniz. Örneğin
LeoTask: çok çekirdekli bilgisayarlar
Apache Hadoop 2.7.3 içiniçin Hafif üretken ve güvenilir mapreduce çerçevesi, benim deneyim İPLİK sağlayan da mümkün kıldığına olmuştur çok çekirdekli destek. İşte tek düğüm üzerinde İPLİK sağlamak için basit bir kılavuzdur:
varsayılan yapılandırma oldukça iyi çalışıyor gibi görünüyor. Çekirdek kullanımınızı ayarlamak istiyorsanız, belki de 'yarn.scheduler.minimum-allocation-vcores' ve 'yarn.scheduler.maximum-allocation-vcores' ayarlarının içine işlenecektir. Eğer iplik-site.xml (https://hadoop.apache.org/docs/r2.7.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml)
Ayrıca, çok çekirdekli bir destekle basit bir Hadoop sanal alanını nasıl yapılandıracağınız hakkındaki talimatlar için buraya bakın: https://bitbucket.org/aperezrathke/hadoop-aee