scrapy

12ısı

2cevap

arasındaki öğeyi geçerken ben ayrıntılı olarak tanımlanmamış öğeye açtı olurdu olduğu gibi kodu kullanarak ayrıştırma fazı ve detay fazı def parse(self, response) data = json.loads(response)

6ısı

1cevap

Neden scrapy örümüm, öğe ayrıştırma işlevimde Geri arama isteğini takip etmiyor?

Çeşitli ürünlerin stok durumunu kontrol etmek için bir site çiziyorum. Ne yazık ki bu, ürün sayfasında "Sepete Ekle" seçeneğini tıklamak ve stokun mevcut olup olmadığını belirlemek için sonraki sayfan

8ısı

1cevap

Scrub

'daki yinelemeleri yok saymak için Middleware'i kullanıyorum Python'da başlangıç yapıyorum ve personel web projesi için Scrapy kullanıyorum. Birkaç web sitesindeki verileri art arda ayıklamak için S

20ısı

2cevap

Bir Javascript

içindeki verileri notlama, bir web sitesindeki kazıyıcının verilerini görüntülemek için scrapy kullanıyorum. Ancak, istediğim veriler html'nin içinde değildi, bunun yerine javascript'ten geliyor. Yani

23ısı

2cevap

Scrub ile JSON yanıtı kazıma

JSON'a geri dönen web isteklerini kazıyarak Scrapy'i nasıl kullanırsınız? Örneğin, JSON şu şekilde görünecektir: Belirli öğeleri (yukarıdaki örn name ve fax) kazımak ve csv kaydetmek isteyen olurdu {

27ısı

1cevap

piton

Ben scrapy güncellemek için çalıştı Hiçbir modül adlı service_identity ve ben ve nasıl çözmek lütfen ne olduğunu aşağıdaki hatayı C:\Windows\system32>scrapy version -v :0: UserWarning: You do not hav

9ısı

2cevap

Tüm sade metinleri Scrapy ile bir web sitesinden nasıl alabilirim?

HTML'nin oluşturulmasından sonra tüm metnin bir web sitesinden görünmesini istiyorum. Python'da Scrapy çatısı ile çalışıyorum. xpath('//body//text()') ile bunu elde edebiliyorum ancak HTML etiketleriy

5ısı

2cevap

Web kazıma için Scrapy ile NTLM kimlik doğrulaması

Kimlik doğrulama gerektiren bir web sitesinden verileri taramaya çalışıyorum. başarıyla aşağıdaki istekleri kullanarak ve HttpNtlmAuth giriş mümkün olmuştur: s = requests.session() url = "https://we

5ısı

3cevap

scrapy İçe Aktarma Hatası: scrapy.core.downloader.handlers.s3.S3DownloadHandler

Windows 7 makinemde scrapy olarak adlandırılan bir virtualenv'e scrapy kurdum. scrapy startproject çalışır ve ben scrapy docs dan öğretici yaptı. File "C:\Users\mac\pystuff\scrapy\lib\site-packages\sc

7ısı

1cevap

Scrapy: Örümcek komutunu kullanarak argüman listesini nasıl iletebilirim?

Fantezi takım için bir kazıyıcı oluşturma. Oyuncu isimlerinin bir listesini argüman olarak iletmenin bir yolunu aramak ve daha sonra player_list içindeki her bir player_name için ayrıştırma kodunu çal