Python bellek hatası ile f.read

Question

Python "Python bellek hatası" nda bellekte sorun yaşıyorum.

with open('xxxx.bson','rb') as f: 
    data = bson.decode_all(f.read()) 

hata iletisi:

data = bson.decode_all(f.read()) 
MemoryError 

herhangi bir yardım için teşekkür ederim size

Answer 1

Sen hafızayı azaltabilir sağlayabilir Aslında, bu komut dosyası kullanılarak büyük .bson dosyadan veri kurtarmayı denemek decode_file_iter'a geçerek tüketim, 1) giriş olarak bir dosya (içeriği değil) gerektirir ve 2) bir jeneratör döndürür. https://github.com/bauman/python-bson-streaming

from bsonstream import KeyValueBSONInput 
f = open("xxxx.bson", 'rb') 
stream = KeyValueBSONInput(fh=f) 
for dict_data in stream: 
    print dict_data 
f.close() 

Answer 2

Ben bu kütüphane kullanımı? Sanırım büyük bir dosya (sisteminizin mevcut hafızasından daha büyük)? Şu anda hafızada * tüm * dosyaları * okuyorsunuz * iki kez * (bir kez ham veriler için ve bir kez de kodu çözülen veriler için).