scrapy Örnek: site.com/page.aspx?id=1

Question

sorun ben gibi bir örnek URL ile bir site taramasını istediğiniz scrapy örnek bulmakta yaşıyorum:

site.com/page.aspx?id=1 

biri olacak kimliğine bağlı olarak page.aspx öğesinde. Minimum sayıyı (ör. 15) geçmek istiyorum, daha sonra en üstteki kimliği alana kadar (örneğin, 25) scrapy çalışmasını istiyorum. Tarayıcı bir kez üst kimliğe ulaştığında, 404'ten veya başka bir koddan ziyade "sakıncalılık" ile ilgili bir şey söyleyen bir mesaj olacaktır.

Çoğunlukla bir adresin bir sayı ile nasıl yineleneceğini merak ediyorum. Sayfadaki bağlantıları bulup takip eden terapi ile ilgilenmiyorum.

Answer 1

import scrapy 

class ExampleSpider(scrapy.Spider): 
    name = "example" 
    minimum = 15 
    maximum = 25 

    def start_requests(self): 
     for i in range(self.minimum, self.maximum + 1): 
      url = 'http://example.com/page.aspx?id={}'.format(i) 
      yield scrapy.Request(url) 

    def parse(self, response): 
     pass