Paletli

Question

Bir web sitesi tarama, site URL'lerinin ve kaynak türlerinin bir listesini, içeriğini oluşturma yeteneğine sahip Groovy (Grails framework ve MongoDB veritabanı kullanarak) bir web tarayıcısı geliştirmek istiyorum yanıt süreleri ve ilgili yeniden yönlendirmelerin sayısı.

JSoup vs Crawler4j üzerinde tartışıyorum. Temel olarak ne yaptığını okudum ama ikisi arasındaki farkı açıkça anlayamıyorum. Yukarıdaki işlevsellik için hangisinin daha iyi olacağını öneren var mı? Yoksa ikisini karşılaştırmak tamamen yanlış mı?

Teşekkürler.

Answer 1

Crawler4J bir tarayıcıdır, Jsoup bir ayrıştırıcıdır. Aslında ikisini de kullanabilirdiniz. Crawler4J, tüm URL'leri ve istediğiniz sitenin tüm sayfalarını (içeriği) almak için kullanabileceğiniz çok iş parçacıklı bir arabirimdir. Bundan sonra, verileri ayrıştırmak, şaşırtıcı (jquery-like) css seçicileriyle Jsoup'u kullanabilir ve aslında onunla bir şeyler yapabilirsiniz. Tabii ki dinamik (javascript üretilen) içeriği göz önünde bulundurmalısınız. Bu içeriği de isterseniz, içeriği ayrıştırmadan önce javascript'i çalıştıracak bir javascript motoru (başsız tarayıcı + ayrıştırıcı) içeren htmlunit veya webdriver (selenium) gibi başka bir şeyi kullanmanız gerekir.