Web kazıma - Angular.js aracılığıyla JavaScript'te oluşturulan içeriğe nasıl erişilir?</p> <p><a href="https://i.stack.imgur.com/Siny9.png" rel="noreferrer"><img src="https://i.stack.imgur.com/Siny9.png" alt="enter image description here"></a></p> <p>Ama:

Question

Ben kamu sitede asx.com.au

sayfa http://www.asx.com.au/asx/research/company.do#!/ACB/details ihtiyacım bilgiler bir div sınıfla 'görünümü-içerik', içerdiği veri kazımak için çalışıyorum

import urllib2 
from bs4 import BeautifulSoup 

url = 'http://www.asx.com.au/asx/research/company.do#!/ACB/details' 
page = urllib2.urlopen(url).read() 
soup = BeautifulSoup(page, "html.parser") 
contentDiv = soup.find("div", {"class": "view-content"}) 
print(contentDiv) 

# the results is an empty div: 
# <div class="view-content" ui-view=""></div> 

erişmek mümkün mü: Ben div boş olduğunu Python en urllib2.urlopen yoluyla bu sayfayı görüntülemek için deneyin Bu div içeriği programlı olarak mı?

Düzenleme: yorumun göründüğü şekilde içeriğin Angular.js aracılığıyla oluşturulduğu görünür. Python ile bu içeriğin oluşturulmasını tetiklemek mümkün mü?

Answer 1

Bu sayfa sunucudan ve dolgu sayfasından veri okumak için JavaScript'i kullanmaktadır.

Chrome'da geliştirici araçları kullandığınızı görüyorum - "XHR" veya "JS" isteklerinde "Ağ" sekmesine bakın.

bu url Bu URL'ye, neredeyse &callback=angular.callbacks._0 olmadan bu linki kullanınız eğer

Ama sonra saf JSON biçiminde veri almak JSON biçiminde tüm verileri verir http://data.asx.com.au/data/1/company/ACB?fields=primary_share,latest_annual_reports,last_dividend,primary_share.indices&callback=angular.callbacks._0

bulundu ve yapacaksın olabilir python sözlüğüne dönüştürmek için json modülünü kullanın.

---

DÜZENLEME: kod çalışma

import urllib2 
from bs4 import BeautifulSoup 
import json 

# new url  
url = 'http://data.asx.com.au/data/1/company/ACB?fields=primary_share,latest_annual_reports,last_dividend,primary_share.indices' 

# read all data 
page = urllib2.urlopen(url).read() 

# convert json text to python dictionary 
data = json.loads(page) 

print(data['principal_activities']) 

Çıkış:

görmek

Mineral exploration in Botswana, China and Australia.