web-crawler

18ısı

5cevap

Kolej projem için tam Wikipedia metin indirmek için arıyorum. Bunu indirmek için kendi örümcekimi yazmak zorunda mıyım yoksa Wikipedia'nın çevrimiçi bir veri kümesi var mı? Size projem hakkında biraz

5ısı

1cevap

Scrapy BaseSpider: Nasıl çalışır?

Bu scrapy öğreticisindeki BaseSpider örnektir: from scrapy.spider import BaseSpider from scrapy.selector import HtmlXPathSelector from dmoz.items import DmozItem class DmozSpider(BaseSpider):

5ısı

2cevap

jQuery'yi DOM yerine bir değişken üzerinde kullanın? jQuery yılında

Yapabileceğiniz: $("a[href$='.img']").each(function(index) { alert($(this).attr('href')); } Ben bir web sitesinden x seviyelerini tarar ve gif resimlere tüm HREF'ler toplayan bir jQuery işlevi

13ısı

2cevap

Python Web Tarayıcıları ve "alma" html kaynak kodu

Bu yüzden ağabeyim Python'da bir web tarayıcısı yazmamı istedi (kendinden geçmiş) ve C++, Java ve biraz html biliyorum. Ben 2.7 sürümünü kullanıyorum ve python kitaplığını okuyorum, ancak bir kaç soru

6ısı

3cevap

Raylar: Üretim modunda bir komisyon görevi içinden özel bir günlük dosyasına nasıl yazılır?

Bir komisyon görevini çalıştırırken günlük dosyalarına yazmaya çalışıyorum. Geliştirme modunda iyi çalışıyor, ancak üretim ortamına geçtiğimde, günlük dosyalarına hiçbir şey yazılmıyor. Bu normal bir

11ısı

2cevap

Sonsuza kadar çalıştırmak için Scrapy dayalı bir web tarayıcısı nasıl oluşturulur?

Birkaç haber portalı web sitesinden haber resimleri çekmek için Scrapy'ye dayanan bir web tarayıcısı oluşturmak istiyorum. There is paletli istiyorum: Çalıştır sonsuza o güncellemeleri almak için bazı

8ısı

5cevap

Greasemonkey tabanlı tarayıcı için veri depolamanın en iyi yolu?

Bir siteyi Greasemonkey ile taramak ve değerleri depolamak için GM_setValue uygulamasından daha iyi bir yol olup olmadığını merak ediyorum. Yapmak istediklerim, kişilerinizi sosyal ağda taramak ve Twi

5ısı

3cevap

İntihal Analyzer (Web İçeriği karşılaştırılır)

Herkese merhaba, Arkaplan Ben Bilgisayar Bilimi nihai yıl öğrencisiyim. Java ve MySQL kullanarak bir İntihal Analizörü olan Final Çift Modülü Projemi önerdim. İntihal Analiz yapacaktır: Yüklenen belge

5ısı

1cevap

php mutlak URL'lere tüm bağlantıları çevirme

Ben php bir web sitesi paletli yazıyorum ve zaten bir sitedeki tüm bağlantıları ayıklayabilirsiniz kod var. Sorun: siteler mutlak ve göreli URL'ler bir arada kullanıyor. (I köprüler yayınlamak olamaz

9ısı

4cevap

Scrapy SgmlLinkExtractor soru

SgmlLinkExtractor'ın çalışmasını sağlamaya çalışıyorum. Ben rules = (Rule(SgmlLinkExtractor(allow=("/aadler/",)), callback='parse'),) Yani, ilk url 'http://www.whitecase.com/jacevedo/' ve ben allow=