web-crawler

22ısı

4cevap

HTTP-isteği/komut satırından JSON yüküyle çağrı nasıl yapılır?

Komut satırından bir JSON araması yapmanın en kolay yolu nedir? Ek veri almak için bir JSON araması yapan bir web sitem var. Google Chrome gösterildiği gibi istek yükünü şuna benzer: O değil, gelen JS

7ısı

2cevap

URL'si verilen bir web sitesinin site haritasını oluşturmak için WGET kullanabilir miyim?

Bir web sitesini örtebilen ve taranan tüm sayfaların listesini düz metin veya benzer biçimde döndürebilen bir komut dosyasına ihtiyacım var; arama motorlarına site haritası olarak göndereceğim. Bir we

7ısı

1cevap

Web tarayıcısı için tipik nezaket faktörü?

Web tarayıcısı için tipik bir nezaket faktörü nedir? Apart hep robot.txt uymaktan Hem "Disallow:" ve standart olmayan "Tarama gecikmesi:" Ama bir site açık bir tarama-gecikme girmezse varsayılan değer

13ısı

2cevap

Depolanmış veriler üzerinde bir Scrapy örümceğini yeniden oynatın

Birkaç web sitesini kazımak için Scrapy'u kullanmaya başladım. Daha sonra modelime yeni bir alan eklersem veya ayrıştırma işlevlerimi değiştirirsem, indirilen ham verileri çevrimdışına yeniden kazımak

11ısı

2cevap

Web Paleti - Yok Say Robots.txt dosyası?

Bazı sunucular, web tarayıcılarının web sitelerini taramasını önlemek için bir robots.txt dosyasına sahiptir. Bir web tarayıcısının robots.txt dosyasını yoksaymasının bir yolu var mı? Python için Mech

8ısı

2cevap

Çalışmak için Scrapy pipeline'ı alamıyorum

Scrapy çerçevesini kullanarak yazdığım bir örümcek var. Çalışmak için herhangi bir boru hattı almakta sorun yaşıyorum. Benim pipelines.py aşağıdaki kodu vardır: class FilePipeline(object): def _

13ısı

3cevap

Herhangi bir java script web tarayıcısı çerçevesi var

Herhangi bir JavaScript web tarayıcısı çerçeve var mı?

11ısı

5cevap

Web tarayıcısı ruby içinde

Ruby'de web tarayıcısı yazmak için önerileriniz nelerdir? Herhangi bir lib, mekanize etmekten daha mı iyidir?

6ısı

2cevap

Java'da birden çok web sayfası almanın en hızlı yolu

Hızlı bir HTML kazıyıcı yazmayı deniyorum ve bu noktada yalnızca ayrıştırma yapmadan verimimi en üst düzeye çıkarmaya odaklanıyorum. Ben URL'lerin IP adreslerini önbelleğe adres: public class Data {

19ısı

5cevap

Nutch

için alternatif bir web tarayıcısı Sınırlı sayıda web sitesini dizine ekleyen özel bir arama motoru web sitesi oluşturmaya çalışıyorum. Ben ile geldi çözümdür: web tarayıcısı olarak nutch kullanılarak