Büyük dosyayı (2GB'a kadar) CUDA GPU'ya verimli bir şekilde aktarın?

Question

Değişken boyuttaki bir dosyanın tamamını okumayı gerektiren GPU hızlandırılmış bir program üzerinde çalışıyorum. Benim sorum, bir dosyadan okumak ve bir işlemciye (CUDA aygıtı) aktarmak için en uygun bayt sayısı nedir?

Bu dosyalar 2GiB kadar büyük olabilir, bu nedenle bu boyutta bir arabellek oluşturmak en iyi fikir gibi görünmüyor.

Answer 1

Cihazınızda kullanabileceğiniz maksimum boyutta bir cudaMalloc kullanabilirsiniz. Bundan sonra, bu boyuttaki giriş verilerinizin bileşenlerini ana bilgisayardan cihaza kopyalayın, işleyin, sonuçları kopyalayın ve devam edin. Bunu karttaki parçalar üzerinde çalışabilirsiniz senin fonksiyonunu bölebilmeniz Eğer

// Your input data on host 
int hostBufNum = 5600000; 
int* hostBuf = ...; 

// Assume this is largest device buffer you can allocate 
int devBufNum = 1000000; 
int* devBuf; 

cudaMalloc(&devBuf, sizeof(int) * devBufNum); 

int* hostChunk = hostBuf; 
int hostLeft = hostBufNum; 
int chunkNum = (hostLeft < devBufNum) ? hostLeft : devBufNum; 

do 
{ 
    cudaMemcpy(devBuf, hostChunk, chunkNum * sizeof(int) , cudaMemcpyHostToDevice); 
    doSomethingKernel<<< >>>(devBuf, chunkNum); 

    hostChunk = hostChunk + chunkNum; 
    hostLeft = hostBufNum - (hostChunk - hostBuf); 
} while(hostLeft > 0);  

Answer 2

, kullandığınız akışları (cudaStream_t) içine bakmak gerekir.

Çeşitli akışlarda yükleri ve çekirdek yürütmelerini zamanlarsanız, bir akış yükleme verisine sahip olabilirken, diğeri karttaki bir çekirdeği yürütür, böylece verilerinizin aktarım süresinin bir kısmını çekirdek çekirdeğinde saklar.

Öğe boyutu büyüklüğünüzün kaç olduğu bir arabelleği bildirmeniz gerekir, ancak bildirdiğiniz birçok akış (en fazla 16, bilgi işlem için bildiğim kadarıyla 1.x).