scrapy

9ısı

1cevap

Terapi kabuğu isteği için üstbilgileri ayarlama

USER_AGENT'u değiştirmek için scrapy shell -s USER_AGENT='custom user agent' 'http://www.example.com''u kullanabileceğinizi biliyorum, ancak istek başlıklarını nasıl ekliyorsunuz?

5ısı

2cevap

Python'da bir SplashRequest gerçekleştirirken öğe için bekletme Scrapy

Python'da Splash for Scrapy kullanarak birkaç dinamik web sitesi kazımayı deniyorum. Ancak, Splash'in tüm sayfaların belirli durumlarda yüklenmesini beklemediğini görüyorum. Bu sorunu çözmek için kaba

0ısı

2cevap

Anahtar kelimeden sonra satır topla

Bir sayfada metin bulma konusunda sorun yaşıyorum. En büyük kısmı, metnin konumlarının sayfalar arasında değişmesidir. Ben anahtar kelime "Kamp Direktörü" html örnek içeren çizgi SONRA hat metnini ayı

7ısı

1cevap

Bir döngü içinde Scrapy Itemloader'ı kullanma

Öğreticilerinde kullandıkları Dmoz web sitesinde Scrapy kullanmak istiyorum, ancak Öğeleri/Alan çiftlerini kullanarak kitap URL'lerindeki (http://www.dmoz.org/Computers/Programming/Languages/Python/Bo

7ısı

2cevap

Bir öğe boş alan aldığında n kez isteği yeniden denenir?

Bir dizi web sayfası oluşturmaya çalışıyorum ama deliklerim var, bazen web sitesi html yanıtını doğru şekilde göndermiyor gibi görünüyor. Bu, csv çıktı dosyasında boş satırlara sahip olur. Yanıtın xpa

5ısı

1cevap

scrapy örümcek yeniden nasıl

Ben gerekenler: başlangıç paletli paletli iş bitmiş beklemeye başlangıç paletli tekrar Bunu deneyin 1 dakika: from scrapy.crawler import CrawlerProcess from scrapy.utils.project import get_projec

5ısı

2cevap

XPath görüntü bağlantılarını seç - img src'nin yalnızca varsa href bağlantısı, başka bir deyişle img src bağlantısını seç

Biraz karmaşık bir XPath sorununa rastladım. Bir web sayfasında (I Imgur kullanılan ve bazı metin değiştirildi) bir kısmının bu HTML düşünün: <a href="//i.imgur.com/ahreflink.jpg" class="zoom"> <

5ısı

1cevap

Bir scrapy tarayıcısından alınan verileri bir değişkene nasıl kaydederim?

Şu anda bir scrapy örümceği tarafından toplanan verileri görüntülemek için bir web uygulaması yapıyorum. Kullanıcı bir istekte bulunur, örümcek bir web sitesini tarar ve daha sonra istenmesi için veri

7ısı

1cevap

Jupyter'de Scrapy projesi nasıl çalıştırılır?

Mac'te, Jupyter yüklüydü ve Scrub projemin kök klasöründen jupyter notebook yazdığımda, not defterini açar. Bu noktada tüm proje dosyalarına göz atabilirim. Projeyi dizüstü bilgisayardan nasıl yürütür

10ısı

1cevap

Bir captcha ile başa çıkmak için Scrapy'yi nasıl kurarım

Kullanıcının arama değerini ve captcha'yı girmesini gerektiren bir siteyi taramaya çalışıyorum. Captcha için zamanın% 33'ünü aşan bir optik karakter tanıma (OCR) rutinim var. Captcha'lar her zaman alf