5
Sadece scrapy kurulumu ve çalıştırması var ve harika çalışıyor, ama iki (noob) soru var. İlk önce şunu söylemeliyim ki, sitemi scrapy ve spidering için tamamen yeni.Scrapy Django Limit linkleri taranıyor
Eğer bağlantıların sayısını sürünerek sınırlamak miyim? Sayfalama kullanmayan bir sitem var ve sadece kendi sayfalarında çok fazla bağlantı (taramamı) listeler. İlk 10'unu taramaya ihtiyacım olduğunda, tüm bu bağlantıları taradığım için kendimi kötü hissediyorum.
Birden çok örümceği aynı anda nasıl çalıştırıyorsunuz? Şu anda
scrapy crawl example.comkomutunu kullanıyorum, fakat example2.com ve example3.com için de örümceklerim var. Tüm örümceklerimi tek bir komutla çalıştırmak istiyorum. Mümkün mü? 1. için
Bir sitenin tümünün bir defa çizilmesi sizi bu siteden engellenebilir ve kötü/kaba bir uygulamadır. Scrapy eşzamanlıdır, böylece birden çok bağlantıyla bir kerede aynı anda vurur. Zaman aşımı ayarı için yapılandırma ayarlarına bakın. –
İkinci sorum hakkında herhangi bir fikrin var mı? Muhtemelen gerçekten eksik olan bir şey gibi görünüyor. – imns
Birden çok örümceği aynı anda çalıştırmak için: scrapy crawl example.com example2.com example3.com –