scrapy

7ısı

4cevap

kullanarak bir proje dağıtmada hata Ben proje klasöründe birden fazla örümcek vardı ve tüm örümcekler bir kerede çalıştırmak istiyorum, bu yüzden scrapyd hizmeti kullanarak bunları çalıştırmak için ka

5ısı

1cevap

scrapy ayarlarını

Ben Çince sayfalarını indirmek istiyorum değiştirilemiyor, Yani ben komut satırı ve python açtı ve bu kodu from scrapy.conf import settings settings.overrides['DEFAULT_REQUEST_HEADERS'] = {'Accept':'

8ısı

3cevap

Terapi - Metne bağlı olarak belirli bir bağlantı seçin

Bu kolay olmalı ama takılıyorum. nextPage = HtmlXPathSelector(response).select("//div[@class='paginationControl']/a/@href").re("(.+)*?Next") Örneğin, ben aslında dayalı bir sonraki sayfaya bağlantı

5ısı

1cevap

Python Scrapy işlevi spider_closed sinyali gönderilmeden hemen önce çağrılacak mı?

Siteleri ayırmak için bir grup HtmlXPathSelector Requests yapan scrapy kullanarak bir örümcek yazdım. Her istek (asenkronize) memnun olduktan sonra bir .csv dosyasında bir veri satırı oluşturur. En so

27ısı

5cevap

scrapy: Örümcek kapandığında bir işlev çağırın

Örümcek sınıfında, sonlanmadan hemen önce bir yöntem tetiklemenin bir yolu var mı? class MySpider(CrawlSpider): #Config stuff goes here... def quit(self): #Do some stuff... rais

11ısı

1cevap

Tarama LinkedIn Scrub ile doğrulanırken

Crawling with an authenticated session in Scrapy'u okudum ve kapatıyorum, ayrıştırma kodumun doğru olduğundan emin olduğumdan% 99 eminim, girişin yönlendirildiğini ve başarılı olduğunu düşünmüyorum. A

35ısı

4cevap

Scrubda url'ye göre yinelenen istekleri filtrelemek için nasıl filtreleme yapın

CrawlSpider ile scrapy kullanarak bir web sitesi için bir paletli yazı yazıyorum. Scrapy, URL'lere göre yinelenen istekleri filtreleyen, yerleşik bir yinelenen istek filtresi sağlar. Ayrıca, istekleri

5ısı

1cevap

Scrapy CrawlSpider: öğenin farklı düzeylerde ayrıştırılmasıyla ilgili öğeye nasıl erişilir?

Bir web sitesini tararım (yalnızca iki seviye derin) ve her iki düzeyde de sitelerden bilgi almak istiyorum. İçinde bulunduğum sorun, bir öğenin alanlarını her iki düzeydeki bilgilerle doldurmak istiy

15ısı

3cevap

Scrapy - Bir öğenin sessizce bırakılması

Fazla bilgi paylaşabilecek çeşitli web sitelerini taramak için Scrapy kullanıyorum. Kazıdığım her sayfa için, sayfanın URL'sini, başlığını ve html kodunu mongoDB'ye depolarım. Veritabanında çoğaltmayı

8ısı

1cevap

Scrub öğreticisi istisnaları

http://media.readthedocs.org/pdf/scrapy/0.14/scrapy.pdf adresindeki Scrub öğreticisi belgelerini takip ediyorum ve items.py ve dmoz_spider.py öğelerinin doğru yazıldığını (& yapıştırılmış olarak değil