Neden rastgele bir listeyi sipariş edilen bir listeyi işlemeden çok daha hızlı işliyor?

Question

Ben func fonksiyonun performansını artırmak için çalışıyordum ve aX listenin nasıl basit bir değişiklik Performansın biraz iyileştirdiğini bulundu:

import timeit 
import numpy as np 

def func(a, b): 
    return [_ for _ in a if _ not in b] 

Na, Nb = 10000, 5000 
b = list(np.random.randint(1000, size=Nb)) 

# Ordered list of Na integers 
a1 = [_ for _ in range(Na)] 
# Random list of Na integers 
a2 = list(np.random.randint(Na, size=Na)) 
# Ordered list of Na integers generated with numpy 
a3 = list(np.arange(Na)) 

start_time = timeit.default_timer() 
ab1 = func(a1, b) 
abt1 = timeit.default_timer() - start_time 
print("Time ab1", abt1) 

start_time = timeit.default_timer() 
ab2 = func(a2, b) 
abt2 = timeit.default_timer() - start_time 
print("Time ab2", abt2) 

start_time = timeit.default_timer() 
ab3 = func(a3, b) 
abt3 = timeit.default_timer() - start_time 
print("Time ab3", abt3) 

print("Ratio 1/2:", abt1/abt2) 
print("Ratio 1/3:", abt1/abt3) 

Python 2.7.13 bu sonuçlanır: Python

('Time ab1', 5.296088933944702) 
('Time ab2', 1.5520200729370117) 
('Time ab3', 1.5581469535827637) 
('Ratio 1/2:', 3.412384302428827) 
('Ratio 1/3:', 3.3989662667998095) 

farkı 3.5.2

bile büyüktür:

Time ab1 6.758207322000089 
Time ab2 1.5693355060011527 
Time ab3 1.5148192759988888 
Ratio 1/2: 4.306413317073784 
Ratio 1/3: 4.461395117608107 

Sorum şu yüzden: ( a1 veya a3 yani):Bir sıralı liste tamsayılar işlenmesi gerektiği

Neden rastgele liste numpy ile oluşturulan sıralı liste değil çok daha hızlı işlenir?

Answer 1

Sizin b, a2 ve a3 listeleri, NumPy skalerler listeleridir. NumPy skalerlerinin sıradan Python skalerlerine benzetilmesi, lot ekstra tip kontrol ve zorlama gerektirir, bu nedenle NumPy skalerlerini sıradan Python skalerleriyle karşılaştırmak zorunda olan func(a1, b) testi, en yavaşı gösterir.

b, bir Python ints listesi yaparsanız (list işlevi yerine tolist method'u çağırarak), zaman farkı tersine çevrilir.

Görevinizi gerçekleştirmek için Python set s veya NumPy'nin set-like operations modellerini kullanmayı düşünebilirsiniz.

Answer 2

here hakkında tartışıldığı üzere, numpy dizileri python listelerinden çok daha hızlıdır. Bu nedenle, list() işlevini çağırdığınızda, numpy dizileri hala bir numpy dizisi kullandığınızdan daha hızlı görünür.

düzenli Python için bir NumPy dizisi aşağı tüm yol nesneleri (user2357112 belirttiği gibi) ve performans farklılıkları ortadan bkz dönüştürür numpy .tolist() fonksiyonunu kullanarak:

import timeit 
import numpy as np 

def func(a, b): 
    return [_ for _ in a if _ not in b] 

Na, Nb = 10000, 5000 
b = list(np.random.randint(Na, size=Nb)) # len: 5000, max: 9999 

# Ordered list of Na integers 
a1 = [_ for _ in range(Na)] # len: 10000, max: 9999 
# Random list of Na integers 
a2 = np.random.randint(Na, size=Na).tolist() # len: 10000, max: 9999 
# Ordered list of Na integers generated with numpy 
a3 = np.arange(Na).tolist() 

start_time = timeit.default_timer() 
ab1 = func(a1, b) 
abt1 = timeit.default_timer() - start_time 
print("Time ab1", abt1) 

start_time = timeit.default_timer() 
ab2 = func(a2, b) 
abt2 = timeit.default_timer() - start_time 
print("Time ab2", abt2) 

start_time = timeit.default_timer() 
ab3 = func(a3, b) 
abt3 = timeit.default_timer() - start_time 
print("Time ab3", abt3) 

print("Ratio 1/2:", abt1/abt2) 
print("Ratio 1/3:", abt1/abt3) 

#Time ab1 4.622085004015502 
#Time ab2 4.598610720638726 
#Time ab3 4.63976530848255 
#Ratio 1/2: 1.005104646773301 
#Ratio 1/3: 0.9961893968139456 

Umarım bu ilk soru cevaplar! senin a1 liste sıradan Python ints listesidir süre