5
Yakınlarda apache nutch'i aramaya başladım. İlgi duyduğumun web sayfalarını nutch ile tarayabilir ve tarayabilirim. Bu verileri nasıl okuyacağımı tam olarak anlamadım. Temel olarak her sayfanın verilerini bazı meta verilerle (şu an için bazı rasgele verilerle) ilişkilendirmek ve daha sonra arama için kullanılacak olan semantik olarak yerel olarak saklamak istiyorum. Aynı şey için solr veya lucene kullanmalı mıyım? Bunların hepsine yeniyim. Bildiğim kadarıyla Nutch web sayfalarını taramak için kullanılıyor. Taranan verilere meta veri eklemek gibi bazı ek özellikler yapabilir mi?Nutch: Veri okuma ve meta veriler ekleme
Merhaba CRS, sen 'semantik-web' Sana (ya Mikro taranmasını istediğiniz sayfalardan bazı yapısal veriyi istediğiniz varsayalım soruyla etiketlenmiş beri, RDFa ve/veya Microdata). Eğer durum buysa, N23 ile bütünleştirilebilecek Any23 (http://incubator.apache.org/any23/) 'a çok zaman kazandıracak ve muhtemelen birileri bunu yapmaya çalışıyor ya da zaten yapıyor.). – castagna
Yanıt için teşekkür ederiz. Any23'e bir göz atacağım. Aslında "normal" web sayfalarını taradım. Herhangi bir meta veri ile ilişkili değildir. Bu web sayfalarındaki metinden meta verileri hesaplayan bazı algoritmalarımız var. Bu meta veriler, web sayfasının yerel kopyasına eklenmelidir. Bu yüzden, web sayfalarını tarar ve içerikleri ayıklar ve daha sonra web sayfalarının yerel kopyasına meta verileri ekleyen bir tarayıcı arıyorum. – CRS