2013-07-07 24 views
5

Mahout, bir Hiyerarş üzerinden bir Job Job yürütürken bir Cassandra kümesinden giriş verilerini almak için yapılandırılabilir mi?Cassandra ve Mahout'u Hadoop ile ölçekleme

Bu konuyla ilgili bazı kaynaklar buldum - bkz. http://www.acunu.com/2/post/2011/08/scaling-up-cassandra-and-mahout-with-hadoop.html, ancak burada açıklanan göstergeler işe yaramıyor gibi görünmektedir (hem mahout-0.6 hem de mahout-0.7 üzerinde denenmiştir). Öneri öğesi içinIDIndexPath değişkeni, Önerici Nesil sınıfında veya uzandığı soyut sınıflarda görünmüyor.

cevap

0

Cassandra'ya karşı Pig/Hive sorguları çalıştırmayı denedim ve yük altında oldukça kararsız olduğunu buldum. Sorun, Cassandra'nın okuma yolunun, özellikle Thrift üzerinde oldukça verimsiz olmasıdır. Verileri HDFS'ye bir ara adım olarak dökmenizi ve buradan işlemesini öneririm