web-crawler

1ısı

1cevap

PHP tarayıcısı wikipedia için çalışmadı

Aşağıda, id = Summary altındaki metni çıkaran php kodum var. Peki bu script diğer web siteleri için iyi çalışıyor, ancak wikipedia için değil.Aşağıdaki yanıta aldığım hatayı da yaptık. Wikipedia çözüm

php parsing web-crawler wiki 2016-03-24

---

0ısı

1cevap

wiki hatası almak için php tarayıcısı

Aşağıdaki kodda, getElementByIdAsString kullandığımda ("www.abebooks.com/9780143418764/Love-Story- Singh-Ravinder-0143418769/plp ',' sinopsis '); Ancak, wikipedia, getElementByIdAsString ('https://en.

php parsing web-crawler 2016-03-25

---

1ısı

1cevap

Her öğede Paletli bir öğe nasıl geçmeli?

Xml'imi Symfony's Crawler ile ayrıştırıyorum ve bir diziyi nasıl geçebilirim (diğer kelimeler devam ediyor) ve onu son diziye dahil etmemek? | FALSE `// ExampleNode` çocuk akımı yoksa $node->filterXPa

symfony web-crawler 2016-03-25

---

-3ısı

1cevap

Konu havuzu yürütücüsünü kullanarak bunu nasıl yeniden uygulayabilirsiniz?

Eşzamanlı yürütücü kullanarak veya daha iyi bir yöntemle bunu nasıl yeniden uygulayabilirsiniz. iş parçacığı yürütücüsü anlamı. Temel olarak tarayıcının belirtilen URL’yi taramasını ve daha sonra başk

java multithreading web-crawler jsoup threadpoolexecutor 2016-03-27

---

0ısı

1cevap

Başarısız oldu Jsoup

ben için sayfası özel learn.sun.ac.za/my kazımak böylece this sayfasına giriş mücadele oldum kullanarak bu sayfaya giriş şimdi iyi. Birden fazla SO gönderisini aradım ve her öğeden aldığım tavsiyeyi u

java web-crawler jsoup screen-scraping 2016-03-28

---

1ısı

1cevap

/craw belirli dize içeren

Bağlantıyı al özgü dize içerir: Bu benim programıdır: package com.dcvsolution.crawler.songkhoedotvn; import java.io.IOException; import java.util.HashSet; import java.util.Set; import org.jsoup.

java parsing web-crawler jsoup 2016-03-29

---

2ısı

1cevap

Belirli bir sözcüğü olmayan çıktıdan href bağlantılarından birine nasıl tıklanır?

Bir web sayfasından href bağlantılarının ve başlıklarının bir listesini ayrıştırdım. "[$]" Kelimesine sahip olmayan tüm bağlantıları tıklamak istiyorum. İşte benim kodum. from selenium.webdriver.commo

python selenium beautifulsoup web-crawler html-parsing 2016-03-29

---

0ısı

1cevap

Nutch Fetcher sınıfını kişiselleştirmek mümkün mü?

Web tarayıcısını ve dizin verilerini solr olarak başarılı bir şekilde taradım. ama Solr içine tarama ve indekslenecek tüm linkler için bir pdf dosyası oluşturmam gerekiyor. Phantomların bana pdf verec

java solr web-crawler phantomjs nutch 2016-03-30

---

1ısı

1cevap

Nutch 2.3.1 ile web sitelerini taramak, ürün bağlantılarını atlar ama diğer bağlantılara tarar

Yani, erkek ayakkabılarını jabong.com'dan taramaya çalışıyorum. Benim tohum url: http://www.jabong.com/men/shoes/ ben hayır bu regex-urlfilter.txt olduğunu kullanılarak ? ve = atlamak olmadığından e

solr web-crawler nutch 2016-03-31

---

0ısı

1cevap

urllib tarafından 'https' web sitesini açmak için proxie nasıl kullanılır?

proxy_support=urllib.request.ProxyHandler({'http':random.choice(iplist)}) opener=urllib.request.build_opener(proxy_support) urllib.request.install_opener(opener) Ancak bir 'https' web sitesini açm

python python-3.x web-crawler urllib 2016-03-31

---