Python İstekleri kitaplığı kullanılarak kodlamalar nasıl yapılır

Question

Kodlamalarla çok uzun süre uğraştım ve bugün zihinsel bloğu geniş açık bırakmak istiyorum.

Şu anda bir grup web sitesini kazımak için Requests kullanıyorum ve bu sayfaların kullandığı kodlamaları bulmak için HTTP üstbilgilerini kullandığını söyleyebilirim, sitenin üstbilgileri chardet geri dönüyor kayıp. Oradan, indirdiği bayt kodunu çözer ve daha sonra bana r.text numaralı telefondan bir unicode nesnesi verir.

Hepsi güzel.

print foo.encode('utf-8') 

sorun yaptığımda şudur:

Ama nerede karıştı Sonra metin üzerinde bazı işler yapmak ve oradan ben yazdırırken bir kodlama sağlayan Stdout'a çıktısını olmasıdır Bu, yazdırılan şey berbat. Aşağıda, ben kelime 'yargılar' ve 'Standart' arasında bir kurmanıza almak için bekliyoruz:

Declaratory judgmentsStandard of review. 

Bunun yerine, içinde ben dört küçük sayılarla kutumsu şeyi olsun. Elbette, burada görünür görünmüyor, ama ben yaparsam ne elde karşılık gelen sayılar 0097 olduğunu düşünüyorum:

repr(foo) 
u'Declaratory judgments\x97Standard of review.' 

Bu yüzden bu tür mantıklı ama nerede benim kurmanıza var?

süreç aşağı kaynar:

1. Talepleri bir sayfayı indirir ve akıllıca ben utf-8 ve baskı kodlamak
3. onunla çalışmak unicode nesnesine metin deşifre dışarıda.

Sorun nerede? Bu bana mythical unicode sandwich gibi geliyor, ama açıkça bir şey eksik.

Answer 1

Tuhaf bir şey yapıyorsunuz. \x97, cp1252 kodlamasında bir emdash'dir. Bir Unicode dizesinde, U+0097 END OF GUARDED AREA. Bir şekilde, Unicode olarak cp1252 baytlarını okuyorsunuz. Sizi bu duruma getiren kodun daha fazlasını gösterin ve daha derine inebiliriz.

PS: Unicode sandviç neredeyse efsanevi bir şey değil, bunun için bir ideal! :)