scrapy

8ısı

2cevap

Örümcek içinde Scrapyd jobid değeri

Çerçeve Scrapy - Scrapyd sunucusu. Örümceğin içinde jobid değeri elde etmekle ilgili bir sorunum var. http://localhost:6800/schedule.json tepki sonrası verilerinin ardından status = ok jobid = bc2096

python scrapy scrapyd 2012-03-11

---

6ısı

3cevap

Scrapy CrawlSpider'da belirli bir start_url'e nasıl erişilir? Özellikle scrapy en <code>CrawlSpider</code> sınıfta ben scrapy kullanıyorum

, belirli anahtar kelimeleri içeren web bağlantıları kazımak için. Django projeye bağlı bir SQLite veritabanından onun girdilerini alır oldukça uzun start_urls listesi var. Bu veritabanında kazınmış w

python django scrapy 2012-05-15

---

6ısı

2cevap

Scrapy 'Scrapyd örümcekler planlaması ile çok yavaş

Scrapyd'i çalıştırıyorum ve aynı anda 4 örümcek başlatırken garip bir sorunla karşılaşıyorum. 2012-02-06 15:27:17+0100 [HTTPChannel,0,127.0.0.1] 127.0.0.1 - - [06/Feb/2012:14:27:16 +0000] "POST /sched

python scrapy scrapyd 2012-02-06

---

9ısı

4cevap

Bir sorguyu bir url'den nasıl kaldırırım?

Her URL'nin sonunda sorgu dizesine rastgele değerler ekleyen bir siteyi taramak için scrapy kullanıyorum. Bu, taramayı sonsuz bir döngü haline getiriyor. URL'lerin sorgu dizesi bölümünü göz ardı etmek

python url scrapy web-crawler 2011-12-19

---

5ısı

1cevap

Scrapy yüklemeye çalışıyor - hata: 'openssl.exe' bulamadı

Bu sorunun nasıl giderileceği konusunda herhangi bir fikrin var mı? Win XP Pro SP 3 makinesinde Scrapy yüklemek için pip kullanıyorum. Makinede Python 2.7 yüklü. PyOpenSSL ile ilgili bir sorun var gib

python pip scrapy pyopenssl 2012-05-21

---

8ısı

2cevap

scrapy içinde çıkan href baz url birleştiren

aşağıda benim örümcek kodu, İşte class Blurb2Spider(BaseSpider): name = "blurb2" allowed_domains = ["www.domain.com"] def start_requests(self): yield self.make_requests_from_url

python url scrapy 2012-05-29

---

9ısı

2cevap

Aynı anda scrapyd

kullanarak birden fazla scrapy örümcekler çalıştırın Ben bir site - muhtemelen yüzlerce - kazımak istiyorum bir proje için scrapy kullanıyorum ve her site için belirli bir örümcek yazmak zorunda. Ben

python screen-scraping scrapy scrapyd 2012-05-29

---

16ısı

3cevap

yerel sistemde kaydedilen html ile dosyayı kazıyarak

Örneğin ben bir site vardı "www.example.com" Aslında bu sitenin html yerel sisteme kaydederek kazımak istiyorum. böylece test için i class ExampleSpider(BaseSpider): name = "example" start_u

python scrapy 2012-06-05

---

5ısı

1cevap

Scrapy'nin eşzamanlılık modeli hakkında

Şimdi scrapy'yi daha dağınık bir yaklaşımla kullanmayı planlıyorum ve örümcekler/pipeline/downloader/schedulers ve engine hepsi ayrı işlemlerde veya threadlarda barındırılıyorsa, emin değilim. Bazı bu

scrapy 2012-06-07

---

5ısı

2cevap

scrapy tüm etki alanlarına izin verir

Izin alanları etki alanı kısıtlaması olmaksızın herhangi bir siteyi taramak için this ileti gördüm. allowed_domains = ["*"] Bunu yapmak scrapy çerçevesi içine hack daha başka bir yolu yoktur umut gi

python scrapy 2012-03-03

---