Yüksek performanslı dizi ortalama

Question

Bir performans darboğaz var. Büyük dizilerin sütun-bilge ortalamasını (250 satır & 1,3 milyon sütun) hesaplıyorum ve uygulamada bir milyondan fazla kez yapıyorum. Python

Benim test durumu:

import numpy as np 
big_array = np.random.random((250, 1300000)) 
%timeit mean = big_array.mean(axis = 0) # ~400 milliseconds 

Numpy tek çekirdek üzerinde çalışan, benim makinede yaklaşık 400 milisaniye sürer. Farklı dillerden (Cython, R, Julia, Torch) farklı matrix kütüphaneleri denedim, ancak sadece Julia'yı Numpy'yi yenmek için 250 milisaniyeye ulaşarak buldum.

Bu görevde performansta önemli gelişmeler olduğuna dair herhangi bir kanıt var mı? Belki bu GPU için uygun bir görev midir?

Düzenleme: Uygulamam hafızada kısıtlı ve performansı, büyük bir dizinin öğelerine tekrar tekrar değil, yalnızca bir kez erişerek önemli ölçüde geliştirildi. (Aşağıya bakınız.)

Answer 1

Julia, eğer yanılmıyorsam, varsayılan olarak C bellek düzenini kullanan numpy'in tersine bellekte fortran düzenini kullanır. Eğer ortalama ardışık bellek boyunca oluyor böylece aynı düzene uymaları şeyleri yeniden düzenlemek Yani, daha iyi performans elde:

In [1]: import numpy as np 

In [2]: big_array = np.random.random((250, 1300000)) 

In [4]: big_array_f = np.asfortranarray(big_array) 

In [5]: %timeit mean = big_array.mean(axis = 0) 
1 loop, best of 3: 319 ms per loop 

In [6]: %timeit mean = big_array_f.mean(axis = 0) 
1 loop, best of 3: 205 ms per loop 

Ya da sadece size boyutlarını değiştirmek ve diğer eksen üzerinde ortalama alabilir:

In [10]: big_array = np.random.random((1300000, 250)) 

In [11]: %timeit mean = big_array.mean(axis = 1) 
1 loop, best of 3: 205 ms per loop