scrub ile dosyaları indirmek için nasıl wget kullanabilirim

Question

scrapy dosyaları düzgün şekilde indirmiyor. Öğelerimin URL'leri var, bu yüzden dosyaları indirmek için wget'i kullanabileceğimi düşündüm.

Terapi process_item işlevinin içinde nasıl wget kullanabilirim? Alternatif olarak, dosya indirme başka yolu var mı?

class MyImagesPipeline(ImagesPipeline): 
    #Name download version 
    def image_key(self, url): 
     image_guid = url.split('/')[-1] 
     return 'full/%s' % (image_guid) 

    def get_media_requests(self, item, info): 
     if item['image_urls']: 
      for image_url in item['image_urls']: 
      # wget -nH image_ul -P images/ 
      yield Request(image_url) 

Answer 1

Bu kod Burada subprocess.call okuyabilirsiniz

import subprocess 

    ... 

subprocess.call(['wget','-nH', image_url, '-P images/']) 

şu satırlarla Yorumunuzu yerine, wget çalıştırır: http://docs.python.org/2/library/subprocess.html