Geleneksel Çince Karşılıklı olarak Metin Tanıma

Question

Çince olduğu bilinen ve UTF-8 olarak kodlanmış bir metin bloğu verildiğinde, Basitleştirilmiş veya Geleneksel olup olmadığını belirlemenin bir yolu var mı?

Answer 1

Bunun işe yarayıp yaramayacağını bilmiyorum, ancak aynı dönüştürmeden elde edilen sonuçları // TRANSLIT ve // ​​IGNORE ile karşılaştırarak, karakter kümeleri arasında doğru bir çeviri olup olmadığını görmek için iconv kullanmayı denedim. İki sonuç eşleşirse, karakter dizisi dönüşümü, çevrilemeyen herhangi bir karakterle karşılaştıramadı, bu nedenle bir eşleşmeniz gerekir. big5 ve gb2312 yana

$test1 = iconv("UTF-8", "big5//TRANSLIT", $text); 
$test2 = iconv("UTF-8", "big5//IGNORE", $text); 
if ($test1 == $test2) { 
    echo 'traditional'; 
} else { 
    $test3 = iconv("UTF-8", "gb2312//TRANSLIT", $text); 
    $test4 = iconv("UTF-8", "gb2312//IGNORE", $text); 
    if ($test3 == $test4) { 
     echo 'simplified'; 
    } else { 
     echo 'Failed to match either traditional or simplified'; 
    } 
} 

Answer 2

Unicode'da, kod, normal kullanım durumları oldukça çok başarısız olur translit ve ignore modları arasında tam eşlemesi itimat mevcut epeyce yaygın olarak kullanılan varyantları ihmal: başarısız olur 説話, 説, 說 içiniçin kullanılan bir ortak varyant olmasına rağmen Geleneksel Çince olarak tanımlamak için.

Basit düzeltme bulanık bir şekilde yapmaktır:

$test1 = iconv("UTF-8", "big5//IGNORE", $text); 
$test2 = iconv("UTF-8", "gb2312//IGNORE", $text); 
$len1 = mb_strlen($test1); 
$len2 = mb_strlen($test2); 
$len0 = mb_strlen($text) * 0.8; // threshold 
if ($len1 > $len2 && $len1 > $len0) { 
    return 'Likely Traditional'; 
} 
if ($len2 > $len1 && $len2 > $len0) { 
    return 'Likely Simplified'; 
} 
return 'Could not identify';