HTML verilerini htmlagilitypack kullanarak https URL'den indiremiyor

Question

"Küçük" bir sorun htmlagilitypack (HAP) var.

An unhandled exception of type 'System.ArgumentException' occurred in mscorlib.dll

Additional information: 'gzip' is not a supported encoding name. For information on defining a custom encoding, see the documentation for the Encoding.RegisterProvider method.

Web sitesinden veri almak için bu kod parçası kullanıyorum: Ben o olsun bu kodu sonra

HtmlWeb page = new HtmlWeb(); 
var url = "https://kat.cr/"; 
var data = page.Load(url); 

Bir web sitesinden veri almak için çalıştım bu hatayı alıyorum hata. Google'dan her şeyi denedim ama hiçbir şey yardımcı olmadı.

Birisi bu sorunu nasıl çözeceğimi söyleyebilir mi?

Eğer

Answer 1

HtmlWeb https indirirken desteklemiyor ederiz. Bunun yerine, otomatik olarak GZip sıkıştırmasını a bit of modification ile WebClient kullanabilirsiniz:

class MyWebClient : WebClient 
{ 
    protected override WebRequest GetWebRequest(Uri address) 
    { 
     HttpWebRequest request = base.GetWebRequest(address) as HttpWebRequest; 
     request.AutomaticDecompression = DecompressionMethods.Deflate | DecompressionMethods.GZip; 
     return request; 
    } 
} 

Sonra HtmlDocument.LoadHtml() kullanmak HTML dize adresinin HtmlDocument örneği doldurmak için:

var url = "https://kat.cr/"; 
var data = new MyWebClient().DownloadString(url); 
var doc = new HtmlDocument(); 
doc.LoadHtml(data); 

Answer 2

Sen isteği müdahale edebilir değiştirmek için HtmlWeb kullanırken Gereksinimlerinize göre.

var page = new HtmlWeb() 
{ 
    PreRequest = request => 
    { 
    // Make any changes to the request object that will be used. 
    request.AutomaticDecompression = DecompressionMethods.Deflate | DecompressionMethods.GZip; 
    return true; 
    } 
}; 

var url = "https://kat.cr/"; 
var data = page.Load(url);