Python ve R'ye çok büyük CSV veri kümesi yükleme Pandalar,

Question

ile mücadele ediyor Büyük bir csv'yi (18GB) belleğe yüklüyorum ve R ve Python arasındaki çok büyük farkları farkettim. Bu bir AWS ec2 r4.8xlarge which has 244 Gb of memory üzerindedir. Açıkçası bu aşırı bir örnektir, fakat prensip, gerçek makinelerde de küçük dosyalar için geçerlidir.

Dosyam, pd.read_csv kullanırken yaklaşık 17 dakika bellek yüklendi ve yüklendi. Aslında o kadar çok ki ben onunla hiçbir şey yapamam. Buna karşılık, data.table paketinden R'nin fread()'u ~ 7 dakika ve sadece ~ 55Gb bellek aldı.

Pandalar nesnesi neden data.table nesnesinden çok daha fazla bellek alıyor? Ayrıca, temel olarak diskteki metin dosyasından neredeyse 10 kat daha büyük pandalar nesnesi neden? .csv, verileri ilk sırada depolamak için özellikle etkili bir yoldur.

Answer 1

fread hızını geçemezsiniz, ancak bellek kullanımı gider olarak tahmin edersiniz, python'da 64 bit tam sayı olarak okunan tamsayılarınız var.

Dosyanızı varsayarsak şuna benzer:

a,b 
123456789,12345 

Ar, sen alırsınız:

sapply(fread('test.txt'), class) 
#   a   b 
#"integer64" "integer" 

Oysa python (64-bit makinede):

pandas.read_csv('test.txt').dtypes 
#a int64 
#b int64 

Böylece python'da daha fazla bellek kullanacaksınız. mesela beri,

pandas.read_csv('test.txt', dtype={'b': numpy.int32}).dtypes 
#a int64 
#b int32 

Küçük tamsayılar da .csv dosyasından daha fazla yer kaplıyor hem R ve piton nesneleri nedeni olacak: Bir çözüm olarak read_csv yılında türünü zorlayabilir Bir .csv dosyasındaki "1", 2 bayt (char + virgül veya satır sonu) alır, ancak bellekte 4 veya 8 bayt alır.

Answer 2

dask paketini kullanmayı deneyebilirsiniz. Temel olarak, dask DataFrame uygulamasının pandalarını sağlar, ancak paralel ve dağıtılmış ve gecikmeli hesaplamayı kullanabilir.