scrapy

6ısı

2cevap

Bir siteyi örmeye ve ayrıştırmaya çalışırken neden terapi benim için bir hata yapıyor?

Aşağıdaki kod class SiteSpider(BaseSpider): name = "some_site.com" allowed_domains = ["some_site.com"] start_urls = [ "some_site.com/something/another/PRODUCT-CATEGORY1_10652_-1__

7ısı

1cevap

Script bir komut dosyasından çalıştırılıyor -

Hangileri here anlatıldığı gibi bir komut dosyasından scrapy çalıştırmaya çalışıyorum. this snippet'i kullanarak önerdi, ancak yaptığımda süresiz olarak askıda kalıyor. Bu, sürüm .10; Halen mevcut kar

5ısı

2cevap

python'un scrapisi, mevcut tüm URL'lerden veri almıyor gibi görünüyor

Öğrenmek için bazı popüler parçalar bulabilmem için, her bir ayarın tarayıcının tunebooklarına kaç kez eklendiğini gösteren bir tablo oluşturmak için thesession.org kazımaya çalışıyorum. Scrub öğretic

9ısı

2cevap

Google uygulama motorunda scrapy destekleniyor mu?

Aşağıdaki bağımlılıklar etti: - Twisted 2.5.0, 8.0 veya yukarıda - LXML veya libxml2'nin (libxml2 sürümü 2.6.28 kullanarak ya da yukarıda şiddetle tavsiye edilir ise) - simplejson - pyopenssl

13ısı

2cevap

Depolanmış veriler üzerinde bir Scrapy örümceğini yeniden oynatın

Birkaç web sitesini kazımak için Scrapy'u kullanmaya başladım. Daha sonra modelime yeni bir alan eklersem veya ayrıştırma işlevlerimi değiştirirsem, indirilen ham verileri çevrimdışına yeniden kazımak

9ısı

2cevap

Scrapy, scrape dosyasından dosyaya URL'leri okuyor?

Sadece terapi kurdum ve bunların çalıştığı basit dmoz tutorial izledim. Python için temel dosya işlemlerini inceledim ve tarayıcının bir dosyadan URL'lerin listesini okumasına çalıştım ama bazı hatala

6ısı

2cevap

Scrub'da Captchas

Bir captcha kullanan bir forma (spam değil) sahip bir siteye giriş yapmaya çalıştığım bir Scrapy uygulamasında çalışıyorum. Captcha'yı indirmek için ImagesPipeline kullanıyorum ve kullanıcının çözmesi

11ısı

3cevap

Bir scrapy CrawlSpider'ı nasıl durdurabilirim ve sonra kaldığı yerden devam edebilir miyim?

Tarama için çok geniş bir URL listesi olan bir Scrub CrawlSpider var. Bunu durdurmak, mevcut durumu kaydetmek ve baştan başlamak zorunda kalmadan daha sonra devam edebilmek istiyorum. Bunu Scrapy çerç

6ısı

1cevap

scrapy Bir CrawlSpider aşağıdaki belirli bağlantıları kurmak ve her sorun için bağlantılar aşağıdaki URL şemasını takip bir haber dergisi kazımak var olmayan izin bağlantıları

takip ve kazıma edilir: YYYY yılı http://example.com/YYYY/DDDD/index.htm ve DDDD üç veya dört haneli sayıdır. Yalnızca 928'den sonraki sorunları istiyorum ve kurallarımın altında kaldım. Siteye bağlan

7ısı

2cevap

Scrubda yönlendirme bağlantılarını takip edin

Bunu nasıl ayarlayabilirim? handle_httpstatus_list = [301, 302, 303] yazdım, ancak scrap yeni linkleri takip etmiyor, sadece sayfaların boş dosyalarını kaydetmeye başladı. P.S. İngilizce benim ana dil