基本の考え方:データの通り道をたどる
文字は、画面に出るまでにいくつもの場所を通ります。たとえばフォームの入力なら、「ブラウザ → サーバー → プログラム → データベース → プログラム → ブラウザ」です。この道のどこかで「今はどの文字コードか」の認識がずれると、そこで化けます。
特別な理由がなければ、道のすべてを UTF-8 にそろえるのが最も安全です。それでも化けたときは、「どの段階までは正しく、どこから化けたか」を調べると、原因が絞れます。
場所別チェックリスト
| 場所 | 確認すること |
|---|---|
| HTML ファイル | ファイル自体を UTF-8 で保存しているか。<meta charset="utf-8"> を <head> のできるだけ先頭に書く(ブラウザは先頭の1024バイト以内でこの指定を探す) |
| HTTP ヘッダー | Content-Type: text/html; charset=utf-8 になっているか。ヘッダーの指定は meta より優先されるので、サーバー設定が古い文字コードのままだと、HTML がUTF-8でも化ける |
| データベース(MySQL) | データベース・テーブル・列の文字コードが utf8mb4 か。接続時の文字コード(SET NAMES utf8mb4 やドライバの charset 指定)も同じか。MySQL の utf8 は3バイトまでで、絵文字や一部の漢字(「𠮷」など)が入らない |
| プログラム | ソースファイルの文字コード、入出力の文字コード指定。PHP なら default_charset と mb_ 系関数、Python なら open(..., encoding="utf-8") を明示する |
| メール | 本文の Content-Type: text/plain; charset=UTF-8。件名は =?UTF-8?B?...?= のように Base64 などで包む決まりがあり、メール送信ライブラリに任せるのが無難。古い環境では ISO-2022-JP(JISコード)が使われることもある |
| CSV ファイル | Excel で開く用途なら、BOM 付き UTF-8 か Shift_JIS。BOM なしの UTF-8 は化けやすい(CSVの落とし穴) |
| URL・クエリ | 日本語は UTF-8 でパーセントエンコードするのが標準。古い仕様のサイトは Shift_JIS や EUC-JP のことがある(URLの構造と読み方) |
| ファイル名 | Mac で作った ZIP を Windows で開くと、濁点が分離して「か゛」のように見えることがある(Mac は濁点を分けた形で扱う場合がある)。ZIP は日本語のファイル名が化けやすいので、受け渡しは英数字の名前が安全 |
| ターミナル | Linux / Mac は LANG=ja_JP.UTF-8。Windows のコマンドプロンプトは chcp 65001 で UTF-8 にできる |
化けた文字の見た目から原因を推測する
| 見た目 | 多い原因 |
|---|---|
| 「縺薙s縺ォ縺。縺ッ」のような、漢字と半角カナが混ざる | UTF-8 のデータを Shift_JIS として読んだ |
| 「ã」「â」「ã€」のような、アクセント付きの欧文字が並ぶ | UTF-8 のデータを Latin-1(Windows-1252)として読んだ |
| 「�」(黒い菱形に ?)が混ざる | 読み込んだ時点で、文字コードに当てはまらないバイトがあり、情報が失われた |
| 「?」に置き換わっている | 変換先の文字コードに存在しない文字を、変換のときに「?」にした(保存した時点で失われている) |
| 「あ」のような数字付きの記号が見える | HTML の数値文字参照が展開されていない(HTMLエスケープの逆変換で戻せる) |
「�」や「?」になっている文字は、元の情報が失われているので、あとから戻せません。それ以外の化けは、バイトの情報が残っているので、正しい文字コードを当てれば元に戻せることが多いです。
切り分けの手順
- どの段階で化けたかを特定する。データベースの中身を直接見たら正しいのか、画面に出したときだけ化けるのか。保存前は正しく、保存後に化けるのか。
- 実際のバイトを見る。化けた文字の元のバイトを 16進数変換 などで確かめ、
E3 81 82のような並び(UTF-8)か、82 A0のような並び(Shift_JIS)かを見分ける。 - 候補を試す。化けた文字列を文字化け復元に貼り付け、どの組み合わせで読める文章に戻るかを確かめる。戻った組み合わせが、「書いた側の文字コード」と「読んだ側の文字コード」のヒントになる。
- ずれた場所の設定を直す。化けたデータを直すのではなく、道のずれた場所をそろえる。直した後は、新しく入力したデータで確認する。
やってはいけないこと
- 化けた状態で上書き保存する。別の文字コードで保存し直したあとは、元のバイトが書き換わり、戻せないことが多い。まずコピーを取る。
- データベースの文字コードだけ変える。すでに入っているデータは自動では変換されない。変換の手順を確かめ、バックアップを取ってから行う。
- 「?」になったデータを復元しようとする。情報が残っていない。元のデータを探す。