web-crawler

19ısı

3cevap

Güvenli bir şekilde nasıl kontrol edebilirim düğüm boş mu, değil mi? (Symfony'nin 2 Paletli)

Ben bu hatayı yakalamak sayfadan bazı varolmayan içeriği almaya çalışın: The current node list is empty. 500 Internal Server Error - InvalidArgumentException güvenli olarak nasıl bu içeriği var vey

symfony web-crawler 2012-08-07

---

5ısı

1cevap

Scrapy CrawlSpider: öğenin farklı düzeylerde ayrıştırılmasıyla ilgili öğeye nasıl erişilir?

Bir web sitesini tararım (yalnızca iki seviye derin) ve her iki düzeyde de sitelerden bilgi almak istiyorum. İçinde bulunduğum sorun, bir öğenin alanlarını her iki düzeydeki bilgilerle doldurmak istiy

python web-scraping scrapy web-crawler multi-level 2012-06-20

---

5ısı

2cevap

Hangi Open Source Crawler en iyisidir?

Bir iyisi bu dört Nutch/Heritrix/OpenPipeLine/Apache Tika kıyaslıyorum? Her birinin esası ve zararı nedir? Ben web sitelerinin listesini tarayabilsek ve gerekirse değiştirilebilir bazı uzatılabilir ta

web-crawler nutch 2011-12-07

---

6ısı

1cevap

Python ile bağlantıların href'inde JavaScript'in çalıştırılması

Bazı PDF'leri Python kullanarak bir sitede (http://bibliotecadigitalhispanica.bne.es) otomatik olarak indirmeye çalışıyorum. urllib/urllib2/mechanize modüllerini (diğer siteler için kullanıyorum: urlo

javascript python mechanize urllib web-crawler 2012-03-16

---

6ısı

1cevap

scrapy Bir CrawlSpider aşağıdaki belirli bağlantıları kurmak ve her sorun için bağlantılar aşağıdaki URL şemasını takip bir haber dergisi kazımak var olmayan izin bağlantıları

takip ve kazıma edilir: YYYY yılı http://example.com/YYYY/DDDD/index.htm ve DDDD üç veya dört haneli sayıdır. Yalnızca 928'den sonraki sorunları istiyorum ve kurallarımın altında kaldım. Siteye bağlan

python screen-scraping scrapy web-crawler 2011-12-16

---

5ısı

1cevap

AJAX tabanlı URL'leri taramaktan botlar nasıl durdurulur?

ASP.NET MVC 3 web sayfamda (burada teknolojinin önemli olmadığı) birkaç sayfa var, bu sayfadaki belirli URL'leri <script> etiketinde gösteriyorum, böylece benim JavaScript'im (harici bir dosyada sakla

javascript asp.net url web-crawler bots 2012-03-25

---

9ısı

4cevap

Bir sorguyu bir url'den nasıl kaldırırım?

Her URL'nin sonunda sorgu dizesine rastgele değerler ekleyen bir siteyi taramak için scrapy kullanıyorum. Bu, taramayı sonsuz bir döngü haline getiriyor. URL'lerin sorgu dizesi bölümünü göz ardı etmek

python url scrapy web-crawler 2011-12-19

---

8ısı

2cevap

htmlunit kullanarak dinamik web sayfasını gezinme

Dinamik bir web sayfasından, HTML sayfasından dinamik veri elde etmek için sonsuz kaydırmayı kullanan, tıpkı Facebook'un haber akışı gibi, HTML'yi kullanarak veri tarıyorum. Ben aşağı kaydırma olayı s

javascript ajax web-crawler htmlunit infinite-scroll 2012-08-25

---

5ısı

5cevap

Sayfanın küçük resmi/önizlemesi olarak kullanılacak HTML'den bir görüntü seçmenin en iyi yolu

Herhangi bir og: image veya link rel img_source olmadığı varsayıldığında, herhangi birinin herhangi bir gerçek dünya deneyimi veya rastgele tekniklerle ilgili tavsiyesi var mı? Bir web sayfasını en iy

html web-crawler thumbnails opengraph 2012-07-10

---

5ısı

1cevap

Nutch: Veri okuma ve meta veriler ekleme

Yakınlarda apache nutch'i aramaya başladım. İlgi duyduğumun web sayfalarını nutch ile tarayabilir ve tarayabilirim. Bu verileri nasıl okuyacağımı tam olarak anlamadım. Temel olarak her sayfanın verile

solr lucene web-crawler semantic-web nutch 2012-05-27

---