scrapy

8ısı

1cevap

sculum'da orijinal start_url (yönlendirme öncesi) nasıl edinilir

Bazı sayfaları taramak için Scrapy kullanıyorum. Start_urls'u bir excel sayfasından alıyorum ve url'i öğeye kaydetmem gerekiyor. class abc_Spider(BaseSpider): name = 'abc' allowed_domains =

8ısı

2cevap

Tors üzerinde Polipo üzerinden Scrapy ile https siteye nasıl bağlanır?

Sorunun ne olduğundan tam olarak emin değilsiniz. Ben bu yüzden TOR aracılığıyla talepleri gönderebilir benim yerel Polipo vekil bağlanırken test etmek çok basit scrapy örümcek oluşturduk Python 2.7.3

8ısı

2cevap

Aşağıdaki köprü ve "Filtrelenmiş site dışı istek"

Orada bir çok ilişkili konu olduğunu biliyorum, ve bana çok yardımcı oldular, ancak hala yolumu alamıyorum. Kodun çalıştırılmasının hatalarla sonuçlanmadığı noktadayım, ancak csv dosyamda hiçbir şey a

8ısı

1cevap

Scrapy'nin örümcek ara katman yazılımı ve downloader ara katman yazılımı arasındaki fark nedir?

Her iki ara katman da İstek ve Yanıtı işleyebilir. Ama fark nedir? hemen hemen özdeş arayüzlere sahip iken

11ısı

1cevap

Scrapy: Bir spider_idle olayı geri çağrısından el ile bir istek nasıl eklenir?

Bir örümcek oluşturdum ve spider_idle olayına bir yöntem bağladım. El ile bir istek nasıl eklenir? Öğeyi ayrıştırmadan döndüremiyorum - bilinen tüm URL'ler ayrıştırıldığı için bu durumda ayrıştırılamı

6ısı

2cevap

Belirli bir Python komut dosyasından özel Scrapy örümcekleri nasıl çağırılır

Ben algoritm.py adlı bir komut dosyası var ve Script örümcekleri komut dosyası sırasında arayabilmek istiyorum. Dosya scructure geçerli: algorithm.py MySpiders/ MySpiders birkaç scrapy projelerini içe

15ısı

2cevap

Scrapy: günlük nasıl devre dışı bırakılır veya değiştirilir?

official tutoral of Scrapy'u takip ettim, bu harika! Ben konsol çıkışından DEBUG tüm iletileri kaldırmak istiyorum. Bir yolu var mı? 2013-06-08 14:51:48+0000 [scrapy] DEBUG: Telnet console listening o

5ısı

1cevap

Sayfalar arasında gezinmek için Scrapy'yi nasıl kullanırım?

Bu soru için Python ve Scrapy kullanıyorum. Ben web sayfasını web sayfalarına B1 bağlantılar, B2, B3 bir listesini içeren bir, taramaya çalışıyor ediyorum ... Her B sayfa başka bir sayfaya bir bağlant

25ısı

2cevap

ghostdriver.log dosyasının yolu nasıl iptal edilir veya değiştirilir?

Soru doğru bir fikirdir, ancak bazı bağlamlar yardımcı olabilir. Selenium ve phantomjs'i downloader kullanırken scrapy kullanmaya çalışıyorum. Ancak sorun, konuşlandırmaya çalışırken izin verilmediğin

5ısı

1cevap

Scrapy örümceğini çalıştırırken Scrapyd başlangıç hatası

Dört örümcek içeren bir tarayıcıyı dağıtmaya çalışıyorum. örümceklerden biri XMLFeedSpider kullanır ve kabuk ve scrapyd ince çalışır, ancak diğerleri BaseSpider kullanmak ve tüm scrapyd çalıştırdığını