Düz bash'ta dize normalleştirme

Question

'É' (E\xcc\x81) ve 'É' (\xc3\x89) karakterleri farklı kod noktalarına sahiptir. Aynı görünüyorlar, ancak bir maç için test yaparken sonuç negatiftir.

Python bunları normalleştirebilir, ancak: unicodedata.normalize('NFC', 'É'.decode('utf-8')) == unicodedata.normalize('NFC', 'É'.decode('utf-8')), True değerini döndürür. Ve e olarak yazdırır.

Soru: saf bash * dizelerini normalize etmenin bir yolu var mı? Ben iconv içine baktım ama bildiğim kadarıyla ascii'ye bir dönüşüm yapabilir ama normalleştirilemez.

* GNU bash mevcut uconv varsa, bu muhtemelen işi yapacağım, versiyon 3.2.57 (1) -salınımı (x86_64-elma-darwin14))

Answer 1

:

$ echo -en "E\xcc\x81" | uconv -x Any-NFC | hexdump -C 
00000000 c3 89 
$ echo -en "\xc3\x89" | uconv -x Any-NFC | hexdump -C 
00000000 c3 89 

Ayrıştırılmış form için Any-NFD da mevcuttur.