Web Kişi Tanıtımı Açıklamaları

Question

Web'i şirket yönetim ekipleri için kazımak üzere bir program oluşturmaya çalıştım. Bu da dahil olmak üzere, birçok şeyi elde etmeyi çok hassas:

-İş başlıkları

-emails -resimlerinizi -names

-Qualifications (MD, PhD vb) ve Sonekleri (II, III, JR.)

İçinde bulunduğum sorun, kişinin açıklamasının kazımasıdır. Örneğin, Facebook'un Executive Bios sayfasında Mark Zuckerberg'in açıklamasını istiyorum. Bununla birlikte, HTML yapısındaki tüm farklar ile, bunu% 100'e yakın doğrulukla kazımak çok zordur.

Perl ve çok, gelişmiş olduğuna inanıyorum, normal ifadeler kullanıyorum. Soruna yaklaşmak için daha iyi bir yol/araç var mı?

En son denemem, kişilerin tam adının sayfada son olarak bulunmasını bulmak ve daha sonra birlikte çalışanlara isabet edene kadar tüm metni almaktı. Bu işe yarayacak gibi görünüyor olsa da, bana arzu edilen sonuçlardan daha azını veriyor.

DÜZENLEME: Bu soruyu, bu sayfayı ayrıştırmaya çalışıyorum diye ortaya çıktığını fark ettim, herhangi bir şirkette çalışacak kadar genel bir şeye ihtiyacım var "insan sayfası". % 100'lük doğruluk elde edilemediğini biliyorum,% 50-20'ye varan bir şey arıyorum ve şu anda yüzde 15-20 civarındayım.

Answer 1

HTML'yi ayrıştırmak için normal ifadeleri kullanmak kesinlikle bir seferde veya diğerinde başarısız olur. HTML ayrıştırma ile yardımcı olabilecek

Birkaç modüller şunlardır: Eğer ayrıştırma HTML üzerinde daha fazla kontrol gerekiyorsa

• WWW::Mechanize
• HTML::TreeBuilder

, sen HTML::Parser kullanabilirsiniz. Ayrıca, StackOverflow'ta parsing HTML using Perl ile ilgili birkaç soru olmuştur. Cevaplar yardımcı olabilir.

ayrıştırma için sayfa içeriğini ve HTML::TreeBuilder getirmesi LWP::UserAgent yararlanır Facebook Executive Bios sayfa için örnek kazıyıcı,: Asla günümüz teknolojisi ile% 100, ya da değil almak için gidiyoruz

#!/usr/bin/env perl 

use strict; 
use warnings; 

use LWP::UserAgent; 
use HTML::TreeBuilder; 

binmode STDOUT, ':utf8'; 

my $ua = LWP::UserAgent->new('agent' => 'Mozilla'); 
my $response = $ua->get('http://www.facebook.com/press/info.php?execbios'); 

my $tree = HTML::TreeBuilder->new(); 
if ($response->is_success()) { 
    $tree->parse_content($response->decoded_content()); 
} 
else { 
    die $response->status_line(); 
} 

for my $biosummary_tag ($tree->look_down('class' => 'biosummary')) { 
    my $bioname_tag = $biosummary_tag->look_down('class' => 'bioname' ); 
    my $biotitle_tag = $biosummary_tag->look_down('class' => 'biotitle'); 
    my $biodescription_tag 
     = $biosummary_tag->look_down('class' => 'biodescription'); 

    my $bioname  = $bioname_tag->as_text(); 
    my $biotitle  = $biotitle_tag->as_text(); 
    my $biodescription = $biodescription_tag->as_text(); 

    print "Name:  $bioname\n"; 
    print "Title:  $biotitle\n"; 
    print "Description: $biodescription\n\n"; 
} 

Answer 2

.

En güvenilir yol, kaynağın işaretlenmesidir, ancak web kazıma yaptığınız için buna sahip değilsiniz. Düzenli ifadelerden ziyade, daha sofistike Doğal Dil İşleme (NLP) tekniklerini deneyebilirsiniz. Perl için neyin uygun olduğunu bilmiyorum ama Python's NLTK başlamak için iyi. İhtiyacınız olan bilgiyi elde etmek için ihtiyacınız olan şeyi seçebilmeniz ve seçebilmeniz için tasarlanmış bir araç takımıdır. Ayrıca, açık kaynaklı O'Reilly kitabı Natural Language Processing with Python da dahil olmak üzere birkaç iyi kitap var.