scrapy

6ısı

3cevap

python3 tarafından scrapy projesinin oluşturulması

Mac OS kullanıyorum, python 2.7 ve python 3.4 var. scrapy python 2.7'ye yüklemek için pip install komutunu kullanıyorum. Ben scrapy.org üzerinde resmi belgeleri okumak ... Ben de çok python3.4 içinde

10ısı

2cevap

scrapy tarayıcı özel durum okuma örneği verisi

Python'da yeniyim ve web gezgini oluşturmak için scrapy kullanmak istiyorum. Öğreticiden http://blog.siliconstraits.vn/building-web-crawler-scrapy/ numaralı telefondan geçiyorum. Örümcek kodu aşağıdak

5ısı

1cevap

N öğeleri kazındıktan sonra Scrapy'yi durdurun

Scrapy ile sorun yaşıyorum. Verilen URL başına 1000 adede kadar iç bağlantıyı kaldıracak kodlara ihtiyacım var. Kodum komut satırında çalışırken çalışır, ancak örümcek durmaz, sadece mesajı alır. from

13ısı

3cevap

Mesaj Gönder Scrub'da İstek

Google Play Store'dan en son yorumları taramaya çalışıyorum ancak en son yorumları almak için bir posta isteği göndermem gerekiyor. Postacı ile çalışır ve istenen yanıtı alırım. ama terminalde bir pos

7ısı

4cevap

Python, Scrapy, Pipeline: işlev "process_item" çağrılmıyor

Aşağıda gösterilen çok basit bir kod var. Kazıma tamam, doğru verileri üreten tüm print ifadelerini görebiliyorum. Pipeline'da başlatma işlemi düzgün çalışıyor. Ancak, process_item işlevi çağrılmıyor,

5ısı

1cevap

Selenyumun Scrapy ile Entegrasyonu

Selenium'u sayfa oluşturma yetenekleri için (ekran görüntüleri oluşturmak için) Scrapy'e etkili bir şekilde entegre etmenin herhangi bir yolu var mı? Sadece o zaman scrapy zaten işlenmiş isteğinden so

5ısı

1cevap

Scrub kullanarak javascript değişkeninden veri ayıklamak için re() nasıl kullanılır?</p> <pre><code>from scrapy.item import Item, Field class SpiItem(Item): title = Field() lat = Field() lng = Field() add = Field() </code></pre> <p>ve örümcek:

Benim items.py dosya böyle gider import scrapy import re from spi.items import SpiItem class HdfcSpider(scrapy.Spider): name = "hdfc" allowed_domains = ["hdfc.com"] start_urls = ["

5ısı

1cevap

Flask rotasından scrublamaya başlayın

Web sayfasının URL'sini not alması için bir web tarayıcısı oluşturmak ve sonucu bir web sayfasına döndürmek istiyorum. Şu anda terminalden tedaviye başlıyorum ve cevabı bir dosyada saklıyorum. Flask't

6ısı

1cevap

Scrapy: belirli HTTP sunucu kodlarıyla yanıtları yakalayın

Oldukça standart bir Scrapy projemiz var (Scrapy 0.24). Ben, belirli HTTP yanıt kodları yakalamak için böyle gibi 200, 500, 502, 503, 504 vb şey istiyorum: class Spider(...): def parse(...):

6ısı

2cevap

ImportError: Scrapy

'u kullanırken win32api adlı bir modül yok. Scrapy'nin yeni öğrencisiyim. Python 2.7'yi ve gereken tüm diğer motorları kurdum. Daha sonra http://doc.scrapy.org/en/latest/intro/tutorial.html eğitimini