node.js kullanarak sayfaları dinamik içeriklerle nasıl tarayabilirim?

Question

website kazımaya çalışıyorum ancak bazı öğelerden anlamıyorum, çünkü bu öğeler dinamik olarak oluşturulur.

node.js içinde cheerio kullanıyorum ve kodum aşağıda. Sayfa yüklendiğinde, <ul id="store_list" class="listMain"> boş olduğu için

var request = require('request'); 
var cheerio = require('cheerio'); 
var url = "http://www.bdtong.co.kr/index.php?c_category=C02"; 

request(url, function (err, res, html) { 
    var $ = cheerio.load(html); 
    $('.listMain > li').each(function() { 
     console.log($(this).find('a').attr('href')); 
    }); 
}); 

Bu kod, boş bir yanıt verir.

İçerik henüz eklenmemiş.

Bu öğeleri node.js kullanarak nasıl edinebilirim? Sayfaları dinamik içeriklerle nasıl tarayabilirim?

Answer 1

İşte siz gidin;

var phantom = require('phantom'); 

phantom.create(function (ph) { 
    ph.createPage(function (page) { 
    var url = "http://www.bdtong.co.kr/index.php?c_category=C02"; 
    page.open(url, function() { 
     page.includeJs("http://ajax.googleapis.com/ajax/libs/jquery/1.6.1/jquery.min.js", function() { 
     page.evaluate(function() { 
      $('.listMain > li').each(function() { 
      console.log($(this).find('a').attr('href')); 
      }); 
     }, function(){ 
      ph.exit() 
     }); 
     }); 
    }); 
    }); 
}); 

Answer 2

takılabilir bir web sürücüsü x-ray-phantom ile, yeni npm modülünü x-ray kullanın. Burada

yukarıdaki sayfalarda örnekleri ancak dinamik kazıma yapmak için:

var phantom = require('x-ray-phantom'); 
var Xray = require('x-ray'); 

var x = Xray() 
    .driver(phantom()); 

x('http://google.com', 'title')(function(err, str) { 
    if (err) return done(err); 
    assert.equal('Google', str); 
    done(); 
}) 

Answer 3

Kontrol dışarı GoogleChrome/puppeteer

Başsız Krom Düğüm API

Oldukça önemsiz kazıma yapar. Aşağıdaki örnek bu sayfadaki komut dosyalarını çalışacak gibi dinamik elemanın kontrolü için izin verecektir

const puppeteer = require('puppeteer'); 

(async() => { 
    const browser = await puppeteer.launch(); 
    const page = await browser.newPage(); 

    await page.goto('https://www.npmjs.com/'); 

    const textContent = await page.evaluate(() => { 
    return document.querySelector('.npm-expansions').textContent 
    }); 

    console.log(textContent); /* No Problem Mate */ 

    browser.close(); 
})(); 

evaluate (.npm-expansions kalıntıları varsayarak) npmjs.com de başlık üzerinde kazımak olacak.