tüm HTTP yanıt alınırken değil urllib2

Question

ben urllib2 kullanarak FriendFeed bazı JSON yanıtları tüm içeriğini indirmek mümkün değilim neden olarak çapraşık değilim.

>>> import urllib2 
>>> stream = urllib2.urlopen('http://friendfeed.com/api/room/the-life-scientists/profile?format=json') 
>>> stream.headers['content-length'] 
'168928' 
>>> data = stream.read() 
>>> len(data) 
61058 
>>> # We can see here that I did not retrieve the full JSON 
... # given that the stream doesn't end with a closing } 
... 
>>> data[-40:] 
'ce2-003048343a40","name":"Vincent Racani' 

Tam yanıtı urllib2 ile nasıl alabilirim?

Answer 1

En şekilde çalışır

while data = stream.read() : 
    ... do stuff with data 

Answer 2

da tüm verileri almak için

Answer 3

readlines() 

Tut yükleme bitene kadar) (stream.Read çağıran ...:

fp = urllib2.urlopen("http://www.example.com/index.cfm") 

response = "" 
while 1: 
    data = fp.read() 
    if not data:   # This might need to be if data == "": -- can't remember 
     break 
    response += data 

print response 

The Bunun nedeni, .read()'un, soketlerin doğası göz önüne alındığında, tüm yanıtı döndürmesi garanti edilmemesidir. Bunun dokümantasyonda (belki urllib) ele alındığını düşündüm ama bulamıyorum. Gerçek ağ etkileşimleri izlemek için

Answer 4

kullanın tcpdump (veya bunun gibi bir şey) - site bazı istemci kütüphaneleri için bozuldu neden o zaman analiz edebilirsiniz. Eğer testi komut dosyası birden çok kez tekrar emin olun, böylece sorun tutarlı olup olmadığını görebilirsiniz:

import urllib2 
url = 'http://friendfeed.com/api/room/friendfeed-feedback/profile?format=json' 
stream = urllib2.urlopen(url) 
expected = int(stream.headers['content-length']) 
data = stream.read() 
datalen = len(data) 
print expected, datalen, expected == datalen 

yüzden bulma arızaları :)