scrapy

5ısı

1cevap

Terapi örümceklerinde çoklu kalıtım

İki temel örümcek, yani SitemapSpider ve CrawlSpider'ın işlevselliğini devralan bir örümcek yaratmak mümkün mü? Çeşitli sitelerden verileri kazımaya çalışıyorum ve tüm sitelerin Web sitesinde her sayf

python regex scrapy multiple-inheritance scrapy-spider 2015-03-01

---

11ısı

2cevap

Geopy: zaman aşımı hatası yakala

Bazı adresleri coğrafi olarak kodlamak için geopy kullanıyorum ve zaman aşımı hatalarını yakalamak ve yazdırmak istiyorum, böylece girişimde bazı kalite kontrollerini yapabilirim. Geocode isteğini bir

python scrapy geopy 2015-01-13

---

5ısı

1cevap

Scrapy Spider: Bitirdiğinde örümceği yeniden başlat

Internet bağlantım nedeniyle kapalı nedenlerden dolayı (gece interneti 5 dakikaya iner) Scrapy örümcemin yeniden başlatılmasını sağlamaya çalışıyorum. İnternet bittiğinde, 5 denemeden sonra örümcek ka

python python-2.7 web-scraping scrapy 2015-03-11

---

5ısı

2cevap

python and scrapy THE kodlama sorunu

Kolayca anlayamıyorum! Content-Type: text/html;charset=utf-8 Ben XPath seçici ekstresi ile düzenli unicode dizeleri listesini() çağrısı alıyorum: :(Ben de o ne diyor en azından bir utf-8 kodlu sites

python unicode encoding utf-8 scrapy 2014-07-06

---

11ısı

1cevap

scrapy: html dizesini HtmlResponse nesnesine dönüştürün

Scrapy'nin response numarasına benzer seçicilerin css ve xpath seçimlerini kullanabilmem için scrapy HTML yanıt nesnesine dönüştürmek istediğim bir ham html dizim var. Nasıl yapabilirim? o hata ayıkla

python web-scraping scrapy 2014-12-05

---

5ısı

1cevap

scrapy Çocuklar da dahil olmak üzere tüm metni alın

Sculum ile kazandığım bir belgenin içinde bir dizi <p> elemanım var. are bazıları: <p><span>bla bla bla</span></p> veya <p><span><span>bla bla bla</span><span>second bla bla</span></span></p> çocuklar

python html scrapy 2014-10-25

---

11ısı

1cevap

Bunun bir dizi olacak şekilde scrapy.Item için bir alan eklemek istediğiniz scrapy.Item

yılında bir dizi alanı: class MyItem(scrapy.Item): field1 = scrapy.Field() field2 = scrapy.Field() field3_array = ??? Bunu nasıl yapabilirim?

python web-scraping scrapy 2015-03-24

---

10ısı

1cevap

CSV Exports - Scrapy crawl -o output.csv kullanarak sütunların sırasını sınama .csv

-o parametresini kullanarak CSV çıktısında sütunların sırasını belirtmenin bir yolu var mı? Rastgele bir sıra takip ediyor gibi görünüyor ve items.py dosyasındaki sıralamayı takip etmiyor ya da ürün a

python csv web-scraping scrapy 2015-02-06

---

5ısı

2cevap

Scrapy gibi bir araç?

nodejs için Scrapy gibi bir şey olup olmadığını bilmek isterim. değilse, basit bir sayfa indirmeyi ve cheerio kullanarak ayrıştırma hakkında ne düşünüyorsunuz? daha iyi bir yol var mı

javascript node.js web-scraping scrapy cheerio 2014-10-30

---

14ısı

2cevap

httplib.BadStatusLine: ''

Her zaman olduğu gibi, sık sık sorunlarım var ve mevcut soruya tam olarak cevap aradım ancak kendimi bir kayıpta buldum. - How to fix httplib.BadStatusLine exception? - Python httplib2 Handling Except

python selenium scrapy 2014-12-23

---