Python'un zip dosyası modülüne daha hızlı bir alternatif mi?

Question

Çok sayıda dosyayı tek bir zip dosyasına sıkıştırmak için Python 2.7.4 zipfile modülüne (ZIP_DEFLATED ile) dikkate değer ölçüde daha hızlı bir alternatif var mı? Ben czipfile https://pypi.python.org/pypi/czipfile/1.0.0 bir göz vardı, ama bu daha hızlı şifreleme (sıkıştırma değil) odaklanmış gibi görünüyor.

Her dosyada ~ 1MB - 6MB arasında (ve ~ 9 GB) tüm dosyalar için çok sayıda görüntü dosyası (.exr ve .tiff dosyalarının birleşiminden 12.000 dosya) işlemek zorundayım) sevkiyat için tek bir zip dosyasına. Bu sıkıştırma işleminin yapılması 90 dakika sürüyor (Windows 7 64bit üzerinde çalışıyor).

kimse zipfile modül daha kısa sürede tek bir .zip dosyasında dosyaların çok sayıda sıkıştırmak mümkün olacaktır farklı bir piton modülünü (ya da alternatif bir C/C++ kütüphanesi ve hatta tek başına bir araç) tavsiye edebilir , Bu çok takdir olurdu (~% 5-10 daha hızlı bir şey (veya daha fazla) çok yararlı olacaktır).

Answer 1

Patashu'nun bahsettiği gibi, 7-zip'e dış kaynak kullanımı en iyi fikir olabilir.

İşte başlangıç ​​için bazı örnek kod:

import os 
import subprocess 

path_7zip = r"C:\Program Files\7-Zip\7z.exe" 
path_working = r"C:\temp" 
outfile_name = "compressed.zip" 
os.chdir(path_working) 

ret = subprocess.check_output([path_7zip, "a", "-tzip", outfile_name, "*.txt", "*.py", "-pSECRET"]) 

martineau Eğer sıkıştırma yöntemleri ile deneme olabilir belirtildiği gibi. This page, komut satırı parametrelerinin nasıl değiştirileceğine dair bazı örnekler verir.