Scrapy çerçevesini kullanarak yazdığım bir örümcek var. Çalışmak için herhangi bir boru hattı almakta sorun yaşıyorum. Benim pipelines.py aşağıdaki kodu vardır:Çalışmak için Scrapy pipeline'ı alamıyorum
class FilePipeline(object):
def __init__(self):
self.file = open('items.txt', 'wb')
def process_item(self, item, spider):
line = item['title'] + '\n'
self.file.write(line)
return item
ve benim CrawlSpider alt sınıf bu sınıf için boru hattını etkinleştirmek için bu hattı vardır.
ITEM_PIPELINES = [
'event.pipelines.FilePipeline'
]
Ancak ben hiçbir boru hatları ile
2010-11-03 20:24:06+0000 [scrapy] DEBUG: Enabled item pipelines:
yazan bir satır olsun
scrapy crawl my_spider
kullanarak çalıştırdığınızda (bu olduğunu tahmin nerede günlük gerektiği çıkış onları).
Belgelere göz atmayı denedim, ancak hiçbir şeyi kaçırıp kaçırmadığımı görmek için tüm projenin tam bir örneği yok gibi görünüyor.
Şimdi ne denemek istediğinizle ilgili öneriniz var mı? veya daha fazla belge için nereye bakmalı? Ben bir yerde kelime boru hattında bir harf farkı olduğunu bahse girerim
Github'da barındırılan bu proje kodunuz var mı? – Medeiros
Hayır, müvekkilim bir yere koyabilirdi, ama kaynak açmak için yerim korkmuyor. –
ITEM_PIPELINES ayar dosyasında bir liste yerine bir dict olarak kullanmak zorunda kaldı –