fread koruma yığın taşması hatası

Question

data.table içinde

Ben fread kullanıyorum (1.8.8 R 3.0.1) çok büyük dosyalar okumak için.

soruları dosya sayısal verileri satır 313 satır ve ~ 6600000 cols sahiptir ve dosya 12GB etrafında başındadır. Bu 512GB RAM ile bir Centos 6.4.

, dosyada okuma girişiminde

:

I max --max-ppsize 500000, ama aynı hata R başlangıç ​​çalıştı

g=fread('final.results',header=T,sep=' ') 
'header' changed by user from 'auto' to TRUE 
Error: protect(): protection stack overflow 

.

Ben de zaten sınırsız olarak ayarlandı

ulimit -s unlimited 

Sanal bellek aracılığıyla sınırsız yığın boyutunu ayarlama çalıştı.

Ben bu boyutta bir dosya ile gerçekçi davranıyorum? Oldukça açık bir şeyi özledim mi?

Answer 1

Şimdi R-Forge üzerinde v1.8.9 sabit.

• istenilmeyen bir 50,000 sütun sınırı fread kaldırılmıştır. Raporlama için mpmorley'e teşekkürler. Test eklendi. döngü içinde PROTECT R-exts section 5.9.1 göre

  // ********************************************************************* 
  // Allocate columns for known nrow 
  // ********************************************************************* 
  ans=PROTECT(allocVector(VECSXP,ncol)); 
  protecti++; 
  setAttrib(ans,R_NamesSymbol,names); 
  for (i=0; i<ncol; i++) { 
      thistype = TypeSxp[ type[i] ]; 
      thiscol = PROTECT(allocVector(thistype,nrow)); // ** HERE ** 
      protecti++; 
      if (type[i]==SXP_INT64) 
       setAttrib(thiscol, R_ClassSymbol, ScalarString(mkChar("integer64"))); 
      SET_TRUELENGTH(thiscol, nrow); 
      SET_VECTOR_ELT(ans,i,thiscol); 
  } 
  

  , gerekli değildir: Bazı

sebebi fread.c kaynakta bu bölümü yanlış var idi durumlarda, korumanın gerçekten gerekli olup olmadığının daha iyi takip edilmesi gerekmektedir. Özellikle çok sayıda nesnenin üretildiği durumların farkında olarak olmalıdır. İşaretçi koruma yığını sabit bir boyuta (varsayılan 10.000) sahiptir ve dolu olabilir. Daha sonra iyi bir fikir değil, sonra her şeyi görünür kılmak ve sonunda binlerce nesne UNPROTECT. hemen hemen değişmez bir ( otomatik olarak koruyan) başka bir nesnenin bir parçası olarak nesne atamak veya kullanımdan hemen sonra bunları korumasını da mümkün olacaktır. KORUYUN Yani

şimdi kaldırıldı ve her şey iyi mesafesindedir. (Bu metin yazıldığı için işaretçi koruma yığını sınırının 50.000'e düştüğü görülüyor; Defn.h #define R_PPSSIZE 50000L içeriyor.) Benzer bir şey için data.table C kaynağındaki diğer tüm PROTECT'leri kontrol ettim ve atamada bir tane bulundu ve sabitlendim .c de (referans olarak 50.000'den fazla sütun eklerken), başkaları yok.

Raporlama için teşekkürler!