Web Kazıma javascript'i Python/R

Question

Kişisel veri bilimi projeleri yapıyorum ve bunlardan biri radyoda belirli şarkıların ne sıklıkla çalındığını görmek.

http://www.iheart.com/live/radio-1045-3401/

ben sayfa kaynağı, faiz populate hiçbir değerlerine baktığımızda, yukarıdaki URL bakarak. Neden olmadığından emin değilim, ancak "Now Playing" başlığının üzerine geldiğimde kromdaki inceleme elemanını kullandığımda, şimdi çalmakta olan şarkı ve sanatçı değerlerini görebiliyorum.

Örnek:

a class="player-song" href="/artist/rem-3610/songs/-2450662/" title="Losing My Religion" data-reactid=".1hpdfx1l4ow.a.1.0.1.1">Losing My Religion</a 

Benim iki soru

şunlardır:

1. Neden bu sayfa kaynağında görünmüyor, ama altında Öğeyi İncele görebilir?
2. Sayfa kaynağında görünmediğinden bu bilgiyi nasıl temizlerim? dinamik öğeleri içeren

Answer 1

1. Çoğu web sayfaları sayfa öğeleri oluşturulan ve tarayıcı ayrıştırır ve sizin için yürütür o Javascript tarafından eklenen var. Bunu zaten tahmin ettiniz, şüpheliyim, soru başlığına göre.

   Sayfa kaynağında gördüğünüz şey, Javascript'in yapmadan önce ham HTML içeriğidir ve güncelleştirir.

2. headless browser: grafik kullanıcı arabirimi olmayan bir tarayıcı. Bu sizin için Javascript'i ayrıştırır ve çalıştırır ve sayfa HTML'sini buna göre günceller. İşte

---

bir full list of headless browsers olduğunu. Bu görevi herhangi bir dilde yapabileceğinizi unutmayın.