Bir python projesinde Scrapy taramasını nasıl yapabilirim?

Question

Özel bir [mail, password] çiftinden bir genel URL adresi almak için Selenium'u kullanmamı sağlayan kişisel bir projem var.

Bu URL'de bilgi kaydetmek istiyorum ve bu araçla nasıl yapabileceğimi öğrenmek için Scrub eğitimini takip ettim. Ancak, scrapy crawl MyScrapProject linux komutu yerine MyScrapClass.crawl() gibi bir Python projesinin içinde taramayı başlatmak için bir yol var mı? scrapy website alınan bir piton komut dosyası içinden scrapy çalıştırmak için

Answer 1

Kullanım CrawlerProcess veya CrawlerRunner sınıfları ..

http://doc.scrapy.org/en/latest/topics/practices.html

örnek:

import scrapy 
from scrapy.crawler import CrawlerProcess 

class MySpider(scrapy.Spider): 
    # Your spider definition 
    ... 

process = CrawlerProcess() 
process.crawl(MySpider) 
# the script will block here until the crawling is finished 
process.start()