web-scraping

0ısı

2cevap

Web, kavgacı, sınıf baskı yalnızca metin

Aşağıdaki kod var: #!/usr/bin/python #weather.scraper from bs4 import BeautifulSoup import urllib def main(): """weather scraper""" r = urllib.urlopen("https://www.wunderground.com/his

1ısı

1cevap

Python sözlüğünü JSON dosyasına dökme

Bir json dosyasına kopyaladığım verileri dökmek istiyorum. Zaten iyi bir biçimde (sözlük, liste, dize vb.) Olduğuna inanıyorum Bir json dosyasına nasıl çıktı verebilirim? with open('output.json', 'w')

1ısı

1cevap

Sitemi taramak ve URL'leri dışa aktarmak için Scrub ve xpath - ne yapıyorum?

Web sitemi taramak ve sitemin tüm sayfa URL'lerini ayıklamak için temel bir Scrapy kurmaya çalışıyorum. Bunun oldukça kolay olacağını düşünürdüm. from scrapy.item import Item, Field class Website(Ite

1ısı

1cevap

Anahtarlar tek bir url'de öğeye gönderilemez, ancak diğerinde olabilir - yakalama nedir?

Farklı sitelerden bazı verileri almak için RSelenium R paketini kullanıyorum. Ben aradık ilk site https://www3.bcb.gov.br/expectativas/publico/consulta/serieestatisticas oldu ve gayet güzel (ilustrate

2ısı

1cevap

phantomjs, window.scollTo

'u kullanarak aşağı kaydırmaz. Aşağı kaydırma işlemini yapmak için selenium/phantomjs'teki en basit yolu kullanıyordum. Kodda her şey iyi görünüyor, ama işe yaramıyor. Her belge kaydettikten sonra "do

1ısı

1cevap

yorum youtube'dan ayıklama gwt-youtube-api-1.0.3'ü kullanarak java

Kullanıcı yorumları youtube'dan almaya çalışıyor. kod uyumsuz türleri gösteriyor String videoId = "3u1fu6f8Hto"; String str = "http://gdata.youtube.com/feeds/api/videos/" + videoId + "/comments";

6ısı

2cevap

Unicode metni normal metne dönüştürme

Python'da Güzel Çorba öğreniyorum. Kitap listesiyle basit bir web sayfasını ayrıştırmaya çalışıyorum. Örn <a href="https://www.nostarch.com/carhacking">The Car Hacker’s Handbook</a> Ben aşağıdaki ko

1ısı

1cevap

R readHTMLTable işlevi çalışmıyor

this particular webpage'dan bazı adları almak istediğim R'de aşağıdaki kodu yazdım. Ben x_3 içeriğine bakmak zaman, şu olsun Ancak library(RCurl) library(XML) x <- getURL("http://www.encyclopedia-ti

-2ısı

1cevap

Google ImportXML to Scrape TIAA.org fiyatından indirim

TIAA.org sitesinden yapılan bir dizi yatırım borsalarda işlem görmüyor ve GoogleFinance vb. Gibi bir tiz sembolü ile kullanılamıyor. Bunlardan biri için her gün "kazıma" yapmak istiyorum Fiyat doğruda

5ısı

1cevap

Bir html tablosundan veri kazıma

Hasat paketini kullanarak, CABI invasive species compendium numaralı istilacı bitki türleriyle ilgili verileri ayıklamaya çalışıyorum. Birkaç öğreticiye baktığımda, tablolardaki verileri kolayca kolay