scrapy

9ısı

1cevap

Python Scrapy ile siteler arasında yineleme

Scrapy ile siteler arasında nasıl yineliyorum? NUMBER 1 ile 400 arasında olan http://www.saylor.org/site/syllabus.php?cid=NUMBER ile eşleşen tüm sitelerin gövdesini çıkarmak istiyorum. bu örümcek yazd

7ısı

1cevap

Görüntüleri scrapy'de indirme

Görüntüyü scrapy yöntemiyle indirmeye çalışıyorum. İşte benim farklı dosyalar şunlardır: benim boru hattı almıyor ayar tüm bunlara rağmen class DmozItem(Item): title = Field() image_urls =

5ısı

1cevap

Kurallar nasıl düzgün kullanılır ?, scrub ile URL'leri taramak ve ayrıştırmak için restrict_xpaths?

Bir web sitesinin RSS akışlarını taramak ve ardından makalenin meta etiketlerini ayrıştırmak için bir tarama örümceği programlamaya çalışıyorum. İlk RSS sayfası, RSS kategorilerini görüntüleyen bir sa

5ısı

1cevap

Scrapy - belirli bir alanın tüm alt sayfalarını ayrıştırma

Kickstarter.com projelerini scrapy kullanarak ayrıştırmak istiyorum, ancak başlangıç_öğeleri altında açıkça belirtmediğim örümcek arama projelerini nasıl oluşturacağımı anlayamıyorum. Belirlenen scrap

5ısı

1cevap

Web sayfasının tüm bağlantılarını scrapy ile taramaya çalışıyor. Ama çıkış olamaz bir sayfadaki bağlantıların

burada ilk sorum :) Ben orada tüm olası web sayfaları için benim okullar sitenizi taramaya çalışıyordu. Ancak bağlantıları bir metin dosyasına alamıyorum. Doğru izinlerim var, bu sorun değil. Bu yüzde

13ısı

4cevap

scrapy- nasıl yönlendirilir Yönlendirme (302)

Scrapy'yi kullanarak bir url taramaya çalışıyorum. Ama beni olmayan bir sayfaya yönlendiriyor. Redirecting (302) to <GET http://www.shop.inonit.in/mobile/Products/Inonit-Home-Decor--Knick-Knacks-Cushi

6ısı

1cevap

Scrapy - xPathSelector

'u kullanarak iç içe 'img src' ayıklayın Bu konuda Scrapy veya python'u kullanmanın nispeten yeni biriyim. Birkaç farklı bağlantıdan ayıklamak için arıyorum ve bir HTMLXPathSelector ifadesi (sözdizimi

5ısı

1cevap

scrub ile dosyaları indirmek için nasıl wget kullanabilirim

scrapy dosyaları düzgün şekilde indirmiyor. Öğelerimin URL'leri var, bu yüzden dosyaları indirmek için wget'i kullanabileceğimi düşündüm. Terapi process_item işlevinin içinde nasıl wget kullanabilirim

12ısı

2cevap

Scrapy CrawlSpider ilk açılış sayfasını taramıyor

Scrapy konusunda yeniyim ve bir kazıma alıştırması üzerinde çalışıyorum ve CrawlSpider'ı kullanıyorum. Scrapy çerçevesi güzel çalışıyor ve ilgili bağlantıları izlese de, CrawlSpider'ı ilk bağlantıyı (

5ısı

3cevap

Scrubd öğelerini json biçiminde depolamak

scrapyd öğelerini JSON file ürününde depolamaya çalışıyorum. Aslında bir json dosyası varsayılan o mağaza öğeleri tarafından ancak böyle: File_1 i scrapy tarama spidername -o fileName -t json benim ör