scrapy

11ısı

2cevap

Sonsuza kadar çalıştırmak için Scrapy dayalı bir web tarayıcısı nasıl oluşturulur?

Birkaç haber portalı web sitesinden haber resimleri çekmek için Scrapy'ye dayanan bir web tarayıcısı oluşturmak istiyorum. There is paletli istiyorum: Çalıştır sonsuza o güncellemeleri almak için bazı

8ısı

2cevap

Çalışmak için Scrapy pipeline'ı alamıyorum

Scrapy çerçevesini kullanarak yazdığım bir örümcek var. Çalışmak için herhangi bir boru hattı almakta sorun yaşıyorum. Benim pipelines.py aşağıdaki kodu vardır: class FilePipeline(object): def _

12ısı

1cevap

Python Scrapy, bir ürün için bir boru hattı nasıl tanımlanır?

I (farklı bilgi çekildi) Bir Öğe sahip her site için farklı siteleri taramak için scrapy kullanıyorum Peki, örneğin bir jenerik boru hattı var (bilgilerin çoğunu aynıdır) ama şimdi sürünerek am Bazı g

5ısı

1cevap

Scrapy BaseSpider: Nasıl çalışır?

Bu scrapy öğreticisindeki BaseSpider örnektir: from scrapy.spider import BaseSpider from scrapy.selector import HtmlXPathSelector from dmoz.items import DmozItem class DmozSpider(BaseSpider):

9ısı

4cevap

Scrapy SgmlLinkExtractor soru

SgmlLinkExtractor'ın çalışmasını sağlamaya çalışıyorum. Ben rules = (Rule(SgmlLinkExtractor(allow=("/aadler/",)), callback='parse'),) Yani, ilk url 'http://www.whitecase.com/jacevedo/' ve ben allow=

24ısı

2cevap

javascript onclick ile bir bağlantıyı tıklatmak için scrub'dan CrawlSpider nasıl kullanılır?

Sonraki bağlantıya oluyor nerede scrapy sayfalarını taramaya istiyorum şuna benzer: <a href="#" onclick="return gotoPage('2');"> Next </a> Bunun javascript kodu yorumlamak mümkün scrapy olacak mı? l

5ısı

2cevap

Scrapy Django Limit linkleri taranıyor

Sadece scrapy kurulumu ve çalıştırması var ve harika çalışıyor, ama iki (noob) soru var. İlk önce şunu söylemeliyim ki, sitemi scrapy ve spidering için tamamen yeni. Eğer bağlantıların sayısını sürüne