Python: Doğru dize uzunluğunu almak o vekil çiftleri

Question

ipython aşağıdaki alışverişini düşünün içerdiğinde:

In [1]: s = u'華袞與緼同歸' 

In [2]: len(s) 
Out[2]: 8 

doğru çıktı 7 olmalıydı, ama bu yedi Çince karakter beşinci yüksek Unicode koduna sahip olduğundan -point, UTF-8'de sadece bir basit kod noktasından ziyade bir "temsilci çift" ile temsil edilir ve sonuç olarak Python bunun bir değil iki karakter olduğunu düşünür. len() geçirilen zaman

Tek bir kod noktasıyla (\U00026177) olarak doğru yedek çifti döndüren unicodedata, kullansanız bile, yanlış uzunluk hala döndürülür:

In [3]: import unicodedata 

In [4]: unicodedata.normalize('NFC', s) 
Out[4]: u'\u83ef\u889e\u8207\u7dfc\U00026177\u540c\u6b78' 


In [5]: len(unicodedata.normalize('NFC', s)) 
Out[5]: 8 

için Python yeniden derlenmesine gibi köklü adımlar atılmadan UTF-32, bunun gibi durumlarda doğru uzunluğu elde etmek için basit bir yol var mı?

IPython üzerinde çalışıyorum 0.13, Python 2.7.2, Mac OS 10.8.2.

Answer 1

Bu bence 3.3'te düzeldi. Bkz: İçinde deyimi ekstra uzun unicode kontrol etmek ve eğer eklemek bir:

http://docs.python.org/py3k/whatsnew/3.3.html
http://www.python.org/dev/peps/pep-0393/ (wstr_length aramak)

Answer 2

Sen Python (How does len work? bakınız) len işlevini geçersiz kılabilir.

Answer 3

Ben bir işlev Python 2 bunu yapmak olun:

SURROGATE_PAIR = re.compile(u'[\ud800-\udbff][\udc00-\udfff]', re.UNICODE) 
def unicodeLen(s): 
    return len(SURROGATE_PAIR.sub('.', s)) 

tek karakteri ile vekil çiftleri değiştirerek, biz len fonksiyonunu 'düzeltmek'. Normal dizgelerde, bu oldukça verimli olmalı: desen eşleşmeyeceğinden, orijinal dize değiştirilmeden döndürülecektir. Birden fazla (32 bit) Python üzerinde çalışılmalı, aynı zamanda çift çift kodlama kullanılmayacaktır.