web-scraping

6ısı

1cevap

Web Scraping with Selenium Python [Twitter + Instagram]

Coğrafi konum temelli hem Instagram hem de Twitter'ı kazımaya çalışıyorum. Bir sorgu araması yürütebilirim, ancak web sayfasını daha fazla alana taşımak ve alanları veri çerçevesine kaydetmek için zor

7ısı

1cevap

Bir döngü içinde Scrapy Itemloader'ı kullanma

Öğreticilerinde kullandıkları Dmoz web sitesinde Scrapy kullanmak istiyorum, ancak Öğeleri/Alan çiftlerini kullanarak kitap URL'lerindeki (http://www.dmoz.org/Computers/Programming/Languages/Python/Bo

5ısı

1cevap

Bu siteye giriş yapmak için python isteğini nasıl kullanabilirim?

Python ve web kazıma işlemlerinden yeni çıkıyorum. Ve bir web sitesini kazımanın ilk adımını bile alamıyorum: giriş. mechanize veya selenium'u kullanmaya başlamadan önce, önce requests'u kullanmak ist

13ısı

2cevap

Puppeteer: pass değişkeni .evaluate()

page.evaluate() işlevine bir değişken geçirmeye çalışıyorum, ancak aşağıdaki çok basitleştirilmiş örnek kullandığınızda, evalVar değişkeni tanımsızdır. Ben Puppeteer için yeniyim ve üzerinde herhangi

5ısı

1cevap

Bir web sayfasından birkaç öğe almayla ilgili sorun

Web sayfasından bazı öğeleri ayrıştırmak için selenyum ile birlikte python'a bir komut dosyası yazdım. Yine de çalışamıyorum. Sonraki öğelerim (belki) iframe içinde. Değiştirmeye çalıştım ama bunun bi

5ısı

1cevap

Excel VBA'da, web sayfasının tam olarak yüklenip yüklenmediğini kontrol etmenin yolu nedir?

Bir web sayfası tam olarak yüklenene kadar kodu duraklatmak için, aşağıdaki yöntemi hemen hemen her zaman büyük bir başarı ile kullanıyorum. yöntem Sayfa tamamen yüklenir ve böylece bu içerik çıkarıla

5ısı

2cevap

XPath görüntü bağlantılarını seç - img src'nin yalnızca varsa href bağlantısı, başka bir deyişle img src bağlantısını seç

Biraz karmaşık bir XPath sorununa rastladım. Bir web sayfasında (I Imgur kullanılan ve bazı metin değiştirildi) bir kısmının bu HTML düşünün: <a href="//i.imgur.com/ahreflink.jpg" class="zoom"> <

9ısı

1cevap

PhatomJs ile giriş yaptıktan sonra sonraki sayfaya nasıl geçilir?

Burada bunun hakkında pek çok soru buldum, ancak neden cevaplanmadıklarından emin değilim. Bu kod ile giriş yaptıktan sonra bir web sayfası taramaya çalışıyorum: source var steps=[]; var testindex =

10ısı

1cevap

Bir captcha ile başa çıkmak için Scrapy'yi nasıl kurarım

Kullanıcının arama değerini ve captcha'yı girmesini gerektiren bir siteyi taramaya çalışıyorum. Captcha için zamanın% 33'ünü aşan bir optik karakter tanıma (OCR) rutinim var. Captcha'lar her zaman alf

7ısı

1cevap

Gazete kütüphanesini kullanarak bir web sitesinin yalnızca belirli bir kategorisini nasıl ayrıştırabilirim?

Python3 ve newspaper kitaplıklarını kullanıyorum. Bu kütüphanenin bir haber web sitesinin bir soyutlaması olan bir Source nesnesi oluşturabileceği söylenir. Ama ya belirli bir kategorinin sadece soyut