同じに見えて別の文字、という問題
Unicode には、同じ文字を表す方法が複数あることがあります。代表的なのは次の2種類です。
| 見た目 | 書き方1 | 書き方2 | どこで起きるか |
|---|---|---|---|
| ガ | U+30AC(1文字) | U+30AB U+3099(カ + 濁点の2文字) | Mac のファイル名、iOS の一部アプリ |
| A | U+0041(半角) | U+FF21(全角 A) | フォームの手入力、Excel からの貼り付け |
| ガ | U+30AC(全角) | U+FF76 U+FF9E(半角カナ カ + ゙) | 銀行・古い業務システムのデータ |
| é | U+00E9(1文字) | U+0065 U+0301(e + アクセント) | 海外のデータ、Mac のファイル名 |
プログラムから見るとこれらは別の文字列なので、=== での比較、データベースの一意制約、文字列検索のどれもすり抜けます。どの書き方で入ってきたかは、Unicodeエスケープに貼り付けてコードポイントを見ると分かります。
4つの形式:NFC・NFD・NFKC・NFKD
正規化の形式は、2つの軸の組み合わせで4つあります。
- C か D か:合成(Composed)してまとめるか、分解(Decomposed)してばらすか。「ガ」を1文字にするのが C、「カ+濁点」の2文字にするのが D
- K が付くか:K が付くと「互換文字」も変換する。全角 A → A、① → 1、㈱ → (株) のように、意味は同じだが見た目が違う文字まで統一する
| 入力 | NFC | NFD | NFKC | NFKD |
|---|---|---|---|---|
ガ U+30AC | ガ(1文字) | カ+゛(2文字) | ガ(1文字) | カ+゛(2文字) |
A U+FF21(全角) | A | A | A | A |
ガ U+FF76 U+FF9E(半角カナ) | ガ | ガ | ガ(1文字) | カ+゛(2文字) |
① U+2460 | ① | ① | 1 | 1 |
㈱ U+3231 | ㈱ | ㈱ | (株) | (株) |
é U+0065 U+0301(分かれた形) | é(1文字) | e+´ | é(1文字) | e+´ |
表のとおり、NFC と NFD は「全角・半角」には手を付けません。全角半角をそろえたいなら K 付き(NFKC)が必要です。逆に、濁点だけ直したいのに NFKC を使うと、全角英数字や丸数字まで変わってしまいます。
使い分けの目安
| やりたいこと | 使う形式 | 理由 |
|---|---|---|
| データを保存する前にそろえる(ファイル名、ユーザー名、本文) | NFC | Web と Windows の標準的な形。見た目も意味も変えずに、濁点やアクセントの分かれ方だけをそろえられる |
| 検索・照合・重複チェックのための比較用の文字列を作る | NFKC | 全角半角・丸数字・組文字の違いを無視して「同じもの」として扱える。元のデータは変えず、比較用のコピーに使う |
| 電話番号・郵便番号・ID の入力を受け取る | NFKC + 記号の置換 | 全角数字を半角にできる。ただし「ー」「〜」は変わらないので、ハイフン類は別に置き換える(下の表を参照) |
| 濁点・半濁点を文字から切り離して処理する(かな検索、ふりがなの比較) | NFD / NFKD | 「ガ」→「カ」+「゛」になるので、濁点を取り除いた比較ができる |
| 表示用に全角・半角を整える | 専用の変換 | NFKC は対象を選べない。英数字だけ・カタカナだけを変えたいときは全角半角変換のように範囲を限定した変換を使う |
原則は「保存は NFC、比較は NFKC」です。NFKC した結果を保存してしまうと、「①」が「1」になるなど、元に戻せない変化がデータに残ります。
NFKC で変わってしまう文字の一覧
NFKC は便利ですが、「全角を半角にするだけ」ではありません。次のような文字も変わります。意図しない変化がないか、対象データに含まれる文字を確認してから使ってください。
| 種類 | 変換前 | NFKC の結果 | 注意 |
|---|---|---|---|
| 全角英数字・記号 | A b 1 2 3 % @ | A b 1 2 3 % @ | 多くの場合これが目的 |
| 全角スペース | 「 」U+3000 | 半角スペース U+0020 | 氏名の姓名の区切りが半角になる |
| 半角カタカナ | ガ パ 。 「 」 | ガ パ 。 「 」 | 濁点付きは2文字 → 1文字になり、文字数が減る |
| 丸数字・ローマ数字 | ① ② Ⅳ | 1 2 IV | 「①」と「1」の区別が消える |
| 組文字・単位 | ㈱ ㍻ ㌔ ㎝ | (株) 平成 キロ cm | 文字数が増える。社名に「㈱」が入るデータは要注意 |
| 上付き・分数・合字 | ² ½ fi | 2 1⁄2 fi | 「m²」が「m2」になる |
| 全角チルダ・全角ハイフン | ~ U+FF5E、- U+FF0D | ~ U+007E、- U+002D | 「1~3」の範囲表記が半角に変わる |
| 変わらないもの | ー(長音)、〜 U+301C(波ダッシュ)、‐ U+2010、﨑・髙などの異体字、絵文字 | そのまま | 「ー」と「-」の混在、「﨑」と「崎」の違いは NFKC では直らない |
電話番号の「03-1234」を NFKC すると「03-1234」になりますが、「03ー1234」(長音記号で入力されたもの)は「03ー1234」のまま残ります。数字まわりのハイフン類(ー 〜 ‐ ―)は、NFKC のあとに自分で「-」に置き換える必要があります。
Mac のファイル名で濁点が分かれる(NFD 問題)
Mac(HFS+ 形式のディスク)は、ファイル名を NFD に近い形で保存します。「データ.txt」というファイル名は「テ+゛」の分かれた形になっています。これを Windows や Linux、Web サーバーに持っていくと、次のようなことが起きます。
- Windows で見ると「テ゛ータ.txt」のように濁点が離れて表示される
- Linux に「データ.txt」(NFC)と「データ.txt」(NFD)の同名に見える2つのファイルができる
- プログラムで
"データ.txt"と比較しても一致せず、「ファイルがない」と言われる - Git で、変更していないファイルが「名前が変わった」扱いになる
対処は、受け取った側で NFC にそろえることです。
| 場面 | 対処 |
|---|---|
| ファイル名を一括で直す | Mac / Linux のターミナルで convmv -f utf8 -t utf8 --nfc -r --notest フォルダ名(convmv を入れた場合) |
| テキストの中身を直す | iconv -f UTF-8-MAC -t UTF-8 入力 > 出力(Mac の iconv。UTF-8-MAC が NFD の読み込み用) |
| Git | git config --global core.precomposeunicode true(Mac 側で NFC に直してコミットする) |
| アップロードを受け取るプログラム | ファイル名を受け取った直後に NFC 正規化してから保存・比較する |
なお、現在の Mac の標準ディスク形式(APFS)は NFD への変換を強制しませんが、Finder からのコピーや古いディスクから来たファイルには NFD の名前が残っています。「Mac から来たファイルだけ名前が合わない」ときは、まずこれを疑ってください。
言語・環境別の書き方
| 環境 | NFC | NFKC |
|---|---|---|
| JavaScript | s.normalize('NFC') | s.normalize('NFKC')(引数なしは NFC) |
| Python | unicodedata.normalize('NFC', s) | unicodedata.normalize('NFKC', s) |
| Ruby | s.unicode_normalize(:nfc) | s.unicode_normalize(:nfkc) |
| Java / Kotlin | Normalizer.normalize(s, Normalizer.Form.NFC) | Normalizer.normalize(s, Normalizer.Form.NFKC) |
| PHP | Normalizer::normalize($s, Normalizer::FORM_C)(intl 拡張) | Normalizer::normalize($s, Normalizer::FORM_KC) |
| Go | norm.NFC.String(s)(golang.org/x/text/unicode/norm) | norm.NFKC.String(s) |
| C# / .NET | s.Normalize(NormalizationForm.FormC) | s.Normalize(NormalizationForm.FormKC) |
| PostgreSQL(13 以降) | normalize(col, NFC) | normalize(col, NFKC)。col IS NFC NORMALIZED で判定もできる |
| MySQL | 正規化の関数はない。アプリ側でそろえてから保存する。照合順序(utf8mb4_0900_ai_ci など)は全角半角の一部を同じ扱いにするが、NFKC とは範囲が違う | |
| Excel | 正規化の関数はない。全角半角だけなら ASC / JIS 関数で変換できる | |
| コマンドライン | uconv -x nfc(ICU)、nkf -w --ic=UTF-8-MAC | uconv -x nfkc |
正規化するときの注意点
- 検証は正規化のあとで行う:「<script>」(全角)は NFKC すると「<script>」になります。先に危険な文字をチェックしてから正規化すると、チェックをすり抜けます。正規化 → 検証 → 保存、の順にします。
- 文字数・バイト数が変わる:「ガ」(2文字・6バイト)は NFKC で「ガ」(1文字・3バイト)に、「㈱」(1文字)は「(株)」(3文字)になります。データベースの列の長さ制限に引っかかることがあります。長さは文字数カウントで確認できます。
- NFKC は戻せない:「①」を「1」にしたあと、元が「①」だったことは分かりません。元のデータは残し、比較用に正規化したコピーを別の列に持つのが安全です。
- 入口でそろえる:フォームの受け取り、CSV の取り込み、API の入力など、データが入ってくる場所で1回だけ正規化します。あちこちで別々の形式を使うと、どこで変わったか追えなくなります。
- 異体字は対象外:「﨑」と「崎」、「髙」と「高」は正規化しても別の文字のままです。人名の照合では、別途の対応表が必要です。
手元で確かめる手順
- 合わない2つの文字列をUnicodeエスケープに貼り付け、コードポイント(
U+30ACのような番号)を比べます。番号が違えば、見た目が同じでも別の文字です。 - 違いが「濁点が分かれている」「アクセントが分かれている」なら NFC、「全角と半角」「①と1」なら NFKC で直ります。
- 全角半角だけを直したいときは、全角半角変換で対象(英数字・カタカナ・記号)を選んで変換します。
- 直した結果の文字数・バイト数を文字数カウントで確認し、保存先の長さ制限に収まるかを見ます。