web-crawler

8ısı

3cevap

Sadece güncellenmiş siteler için Nutch ile yeniden tarama URL'si

Nutch 2.1 ile bir URL taradım ve sonra da güncelledikten sonra sayfaları yeniden taramak istiyorum. Bunu nasıl yapabilirim? Bir sayfanın güncellendiğini nasıl bilebilirim?

5ısı

1cevap

Kurallar nasıl düzgün kullanılır ?, scrub ile URL'leri taramak ve ayrıştırmak için restrict_xpaths?

Bir web sitesinin RSS akışlarını taramak ve ardından makalenin meta etiketlerini ayrıştırmak için bir tarama örümceği programlamaya çalışıyorum. İlk RSS sayfası, RSS kategorilerini görüntüleyen bir sa

8ısı

3cevap

Terapi - Metne bağlı olarak belirli bir bağlantı seçin

Bu kolay olmalı ama takılıyorum. nextPage = HtmlXPathSelector(response).select("//div[@class='paginationControl']/a/@href").re("(.+)*?Next") Örneğin, ben aslında dayalı bir sonraki sayfaya bağlantı

5ısı

1cevap

Web sayfasının tüm bağlantılarını scrapy ile taramaya çalışıyor. Ama çıkış olamaz bir sayfadaki bağlantıların

burada ilk sorum :) Ben orada tüm olası web sayfaları için benim okullar sitenizi taramaya çalışıyordu. Ancak bağlantıları bir metin dosyasına alamıyorum. Doğru izinlerim var, bu sorun değil. Bu yüzde

5ısı

1cevap

Python Scrapy işlevi spider_closed sinyali gönderilmeden hemen önce çağrılacak mı?

Siteleri ayırmak için bir grup HtmlXPathSelector Requests yapan scrapy kullanarak bir örümcek yazdım. Her istek (asenkronize) memnun olduktan sonra bir .csv dosyasında bir veri satırı oluşturur. En so

10ısı

1cevap

Makale taraması için Nutch nasıl genişletilir

Makaleleri almak için bir çerçeve arıyorum, sonra Nutch 2.1'i buluyorum. İşte planım ve sorular her açıklanmıştır: url içine makale listesi sayfalarını Add/seed.txt İşte bir problem. Dizine eklenmek i

6ısı

1cevap

Symfony2'de bir işlev testi yazarken, yalnızca bir seçeneğin etiketini kullanarak doğrudan bir seçenek değil, bir alanın değerini ayarlama

İşlevsel testler yazarken, yalnızca bir etiketin etiketine sahip olursam seçim kutusunun değerini nasıl ayarlayabilirim İstiyorum, ama gerçek değer değil? Ben tam olarak ne ihtiyaç var emin değilim

5ısı

1cevap

JTidy veya Jsoup for Java

Son zamanlarda BeautifulSoup ile pythonda web kazıyıcıları geliştirmekteyim. Şimdi Java'da hangi kütüphanelerin en çok tercih edildiğini bilmek istiyorum. Bazı aramalar yaptım, çoğunlukla JTidy ve JSo

6ısı

1cevap

Bir sayfanın gerçekten dolu olduğunu nasıl bilebilirim?

Bir web sayfasını taramak için python webkit.WebView ve gtk kullanıyorum. Ancak, web sayfası dinamik olarak javascript ile yüklenir. WebView "load-finished" etkinliği bunun üstesinden gelmek için yete

35ısı

4cevap

Scrubda url'ye göre yinelenen istekleri filtrelemek için nasıl filtreleme yapın

CrawlSpider ile scrapy kullanarak bir web sitesi için bir paletli yazı yazıyorum. Scrapy, URL'lere göre yinelenen istekleri filtreleyen, yerleşik bir yinelenen istek filtresi sağlar. Ayrıca, istekleri