文字コードとは
コンピューターが直接扱えるのは数字だけです。そこで「この文字は、この数字(バイト)で表す」という対応表を決めておきます。この対応のルールが文字コードです。
文章を保存するときは、文字をルールに沿ってバイトに変えて書き込みます(エンコード)。読むときは、同じルールで文字に戻します(デコード)。書いたときと読むときのルールがちがうと、別の文字になってしまう。これが文字化けです。
「あ」を3つの文字コードで比べる
| 文字コード | 「あ」のバイト | 「漢」のバイト | 主な使われ方 |
|---|---|---|---|
| UTF-8 | E3 81 82(3バイト) | E6 BC A2(3バイト) | Web、現在のほとんどのシステム |
| Shift_JIS | 82 A0(2バイト) | 8A BF(2バイト) | 古い Windows アプリ、Excel の CSV、一部の業務システム |
| EUC-JP | A4 A2(2バイト) | B4 C1(2バイト) | 古い UNIX 系システム、昔の Web サイト |
同じ「あ」でも、バイトの並びはまったく違います。UTF-8 で書いたファイルを Shift_JIS として読むと、E3 81 82 は「あ」にはなりません。このツールの16進数変換で、文字がどんなバイトになるかを確かめられます。
Unicode と UTF-8 は別のもの
よく混同されますが、役割がちがいます。
- Unicode:世界中の文字に番号(コードポイント)を割り振った表。「あ」は
U+3042、「漢」はU+6F22 - UTF-8 / UTF-16 など:その番号を、実際にバイトとして並べる方式
つまり「Unicode」は文字の番号表で、「UTF-8」はその番号の書き方のひとつです。同じ「あ」(U+3042)でも、UTF-8 では3バイト E3 81 82、UTF-16 では2バイト 30 42 になります。
UTF-8 の特徴
- 英数字(ASCII)は1バイトで、昔の ASCII とそのまま互換
- 日本語の多くは3バイト、絵文字は4バイト(例:😀 は
F0 9F 98 80) - 世界中の文字を1つの方式で扱える
- Web ページの大多数が UTF-8 で、新しく作るなら基本は UTF-8 を選べば困りません
Shift_JIS と CP932(Windows-31J)
Shift_JIS は、日本語の漢字・かなを2バイトで表す文字コードです。Windows で「Shift_JIS」「SJIS」「ANSI」と呼ばれているものは、実際には Microsoft が拡張した CP932(Windows-31J) であることが多いです。丸数字(①)や「㈱」などの機種依存文字は、この拡張に含まれます。
標準の Shift_JIS と CP932 では、一部の文字の対応がちがいます。有名なのが波ダッシュで、Unicode の「〜」(U+301C)と全角チルダの「~」(U+FF5E)が、環境によって入れ替わって見えることがあります。変換して「〜」が「?」や別の記号になったときは、この違いを疑ってください。
BOM とは
BOM(バイトオーダーマーク)は、ファイルの先頭に付ける印です。UTF-8 では EF BB BF の3バイトがあたります。もともと UTF-16 のバイト順を示すためのもので、UTF-8 には本来不要ですが、Excel が CSV を UTF-8 だと見分ける手がかりとして使われています。
- BOM なしの UTF-8 の CSV を Excel で開くと、日本語が化けることがある
- BOM 付き UTF-8 を、BOM を想定していないプログラムで読むと、先頭に見えない文字が入って、1列目の名前が一致しないことがある
くわしくはCSVの落とし穴で説明しています。
文字数とバイト数はちがう
「あ」は1文字ですが、UTF-8 では3バイト、Shift_JIS では2バイトです。データベースの列が「バイト数」で制限されている場合、同じ100文字でも、文字コードによって収まったり収まらなかったりします。文字数の数え方はこのツールの文字数カウントで、文字数とバイト数を並べて確認できます。
ファイルの文字コードを調べる
| 方法 | やり方 |
|---|---|
| VS Code | 右下に現在の文字コードが表示される。クリック →「エンコード付きで再度開く」で別の文字コードを試せる |
| ターミナル | file --mime-encoding ファイル名(Mac / Linux)、nkf --guess ファイル名(nkf を入れた場合) |
| バイトを見る | xxd ファイル名 | head で先頭のバイトを見る。EF BB BF から始まれば BOM 付き UTF-8 |
どの文字コードで化けているか分からないときは、化けた文字列を文字化け復元に貼り付けると、候補を総当たりで試せます。