文字化けを防ぐ設定チェックリスト:HTML・DB・メール・CSV

文字化けは、保存・通信・表示のどこか1か所で文字コードがずれると起きます。「全部 UTF-8 でそろえる」を基本に、確認する場所を順番に見ていきます。

基本の考え方:データの通り道をたどる

文字は、画面に出るまでにいくつもの場所を通ります。たとえばフォームの入力なら、「ブラウザ → サーバー → プログラム → データベース → プログラム → ブラウザ」です。この道のどこかで「今はどの文字コードか」の認識がずれると、そこで化けます。

特別な理由がなければ、道のすべてを UTF-8 にそろえるのが最も安全です。それでも化けたときは、「どの段階までは正しく、どこから化けたか」を調べると、原因が絞れます。

場所別チェックリスト

場所確認すること
HTML ファイルファイル自体を UTF-8 で保存しているか。<meta charset="utf-8"> を <head> のできるだけ先頭に書く(ブラウザは先頭の1024バイト以内でこの指定を探す)
HTTP ヘッダーContent-Type: text/html; charset=utf-8 になっているか。ヘッダーの指定は meta より優先されるので、サーバー設定が古い文字コードのままだと、HTML がUTF-8でも化ける
データベース(MySQL)データベース・テーブル・列の文字コードが utf8mb4 か。接続時の文字コード(SET NAMES utf8mb4 やドライバの charset 指定)も同じか。MySQL の utf8 は3バイトまでで、絵文字や一部の漢字(「𠮷」など)が入らない
プログラムソースファイルの文字コード、入出力の文字コード指定。PHP なら default_charset と mb_ 系関数、Python なら open(..., encoding="utf-8") を明示する
メール本文の Content-Type: text/plain; charset=UTF-8。件名は =?UTF-8?B?...?= のように Base64 などで包む決まりがあり、メール送信ライブラリに任せるのが無難。古い環境では ISO-2022-JP(JISコード)が使われることもある
CSV ファイルExcel で開く用途なら、BOM 付き UTF-8 か Shift_JIS。BOM なしの UTF-8 は化けやすい(CSVの落とし穴)
URL・クエリ日本語は UTF-8 でパーセントエンコードするのが標準。古い仕様のサイトは Shift_JIS や EUC-JP のことがある(URLの構造と読み方)
ファイル名Mac で作った ZIP を Windows で開くと、濁点が分離して「か゛」のように見えることがある(Mac は濁点を分けた形で扱う場合がある)。ZIP は日本語のファイル名が化けやすいので、受け渡しは英数字の名前が安全
ターミナルLinux / Mac は LANG=ja_JP.UTF-8。Windows のコマンドプロンプトは chcp 65001 で UTF-8 にできる

化けた文字の見た目から原因を推測する

見た目多い原因
「縺薙s縺ォ縺。縺ッ」のような、漢字と半角カナが混ざるUTF-8 のデータを Shift_JIS として読んだ
「ã」「â」「ã€」のような、アクセント付きの欧文字が並ぶUTF-8 のデータを Latin-1(Windows-1252)として読んだ
「�」(黒い菱形に ?)が混ざる読み込んだ時点で、文字コードに当てはまらないバイトがあり、情報が失われた
「?」に置き換わっている変換先の文字コードに存在しない文字を、変換のときに「?」にした(保存した時点で失われている)
「&#12354;」のような数字付きの記号が見えるHTML の数値文字参照が展開されていない(HTMLエスケープの逆変換で戻せる)

「�」や「?」になっている文字は、元の情報が失われているので、あとから戻せません。それ以外の化けは、バイトの情報が残っているので、正しい文字コードを当てれば元に戻せることが多いです。

切り分けの手順

  1. どの段階で化けたかを特定する。データベースの中身を直接見たら正しいのか、画面に出したときだけ化けるのか。保存前は正しく、保存後に化けるのか。
  2. 実際のバイトを見る。化けた文字の元のバイトを 16進数変換 などで確かめ、E3 81 82 のような並び(UTF-8)か、82 A0 のような並び(Shift_JIS)かを見分ける。
  3. 候補を試す。化けた文字列を文字化け復元に貼り付け、どの組み合わせで読める文章に戻るかを確かめる。戻った組み合わせが、「書いた側の文字コード」と「読んだ側の文字コード」のヒントになる。
  4. ずれた場所の設定を直す。化けたデータを直すのではなく、道のずれた場所をそろえる。直した後は、新しく入力したデータで確認する。

やってはいけないこと

  • 化けた状態で上書き保存する。別の文字コードで保存し直したあとは、元のバイトが書き換わり、戻せないことが多い。まずコピーを取る。
  • データベースの文字コードだけ変える。すでに入っているデータは自動では変換されない。変換の手順を確かめ、バックアップを取ってから行う。
  • 「?」になったデータを復元しようとする。情報が残っていない。元のデータを探す。

関連ツール