scrapy

7ısı

1cevap

Selenium'u birden çok örümcek ile başsız çalışan

Scrapyd kullanarak paralel olarak çalışan pek çok terapi örümceğim var. Yaptığım şey, aşağıdaki kod gibi bir şey. Soruma göre, gerçekten her örümceğin bir ekran görüntüsünü başlatmam gerekiyor mu ve s

1ısı

1cevap

scrapy aşağıdaki bağlantıları takip etmemektedir

Aşağıdaki tıbbi tedavi bilgisini geri döndürmek için kullanılan scrapy kodu, ilk döndürülen sonuçlar kümesini döndürür, ancak bağlantıları takip etmez. Öğrenme kodunu kontrol edin ve burada benzer son

0ısı

2cevap

Taramayı incelemek ve yol üzerindeki XML sayfalarından bağlantı eklemek için Crawlspider

İhtiyaçlarım için bir paletli bir örümcek yarattım, mükemmel çalışıyor. Ancak, taradığım sitenin bazı kategorilerinde (hepsi değil) belirli xml site haritaları var. Bu nedenle, bu kategorilerdeki .xml

1ısı

2cevap

neden bu x yolu sadece bir değer getiriyor?

bu benim x yolu normalize-space(.//li[@class='amenities_details']/span[normalize-space(.)='Amenities:']/following-sibling::span[1]/ul//li/span/div/@title) ve bu html alıyorum sadece ben li önce // k

2ısı

1cevap

Birden Çok Örümcek'i sırayla Çalıştırın

Class Myspider1 #do something.... Class Myspider2 #do something... Yukarıdaki, spider.py dosyamın mimarisidir. ve önce Myspider1'i çalıştırmaya çalışıyorum ve Myspider2 katlarını birkaç kez çalı

0ısı

1cevap

Scrub'ı Microsoft Azure'a dağıtın

Çıkışlarını bir Ayrıştırma sunucusuna gönderen Scrapy ile bir tarayıcı yaptım. Ayrıca, Microsoft Azure'da tarayıcımı depolamak ve bazı cron işleri yapmak için sanal bir makine oluşturdum. Sanal makine

0ısı

1cevap

Bir python projesinde Scrapy taramasını nasıl yapabilirim?

Özel bir [mail, password] çiftinden bir genel URL adresi almak için Selenium'u kullanmamı sağlayan kişisel bir projem var. Bu URL'de bilgi kaydetmek istiyorum ve bu araçla nasıl yapabileceğimi öğrenme

2ısı

1cevap

Web sayfasının lazili Scrub ile yüklenmesi ile ilgili sorunlar

this page makalelerini kazıyorum. Ancak, sayfayı aşağı kaydırdığımda Ajax aracılığıyla yükler. Şimdiye kadar bu başarıya ulaşmadan POST isteğini simüle etmeye çalışıyorum. İşte sorunumu açıklayan kod

0ısı

1cevap

Scrub

kullanarak forloop verileri ayıklayamıyor Scrapy ve Python'da yeniyim. Ben forloop kullanarak ("https://in.bookmyshow.com/bengaluru/movies") web sitesinden veri ayıklamak çalışıyorum ama dosen't def p

6ısı

1cevap

Bir web sitesinden pdf dosyalarını bulmak ve indirmek için Scrapy'yi kullanma

Scrapy'yi kullanan web sitelerinden pdf dosyalarını çekmekle görevlendirildim. Python için yeni değilim, ama Scrapy benim için çok yeni. Konsol ve birkaç ilkel örümcek deniyorum. Ben buldum ve bu kodu