文字コード入門:UTF-8・Shift_JIS・EUC-JP・Unicodeの違い

文字コードは、文字をコンピューターが扱う数字(バイト)に置き換えるルールです。種類がいくつもあることが、文字化けの根本の理由です。

文字コードとは

コンピューターが直接扱えるのは数字だけです。そこで「この文字は、この数字(バイト)で表す」という対応表を決めておきます。この対応のルールが文字コードです。

文章を保存するときは、文字をルールに沿ってバイトに変えて書き込みます(エンコード)。読むときは、同じルールで文字に戻します(デコード)。書いたときと読むときのルールがちがうと、別の文字になってしまう。これが文字化けです。

「あ」を3つの文字コードで比べる

文字コード「あ」のバイト「漢」のバイト主な使われ方
UTF-8E3 81 82(3バイト)E6 BC A2(3バイト)Web、現在のほとんどのシステム
Shift_JIS82 A0(2バイト)8A BF(2バイト)古い Windows アプリ、Excel の CSV、一部の業務システム
EUC-JPA4 A2(2バイト)B4 C1(2バイト)古い UNIX 系システム、昔の Web サイト

同じ「あ」でも、バイトの並びはまったく違います。UTF-8 で書いたファイルを Shift_JIS として読むと、E3 81 82 は「あ」にはなりません。このツールの16進数変換で、文字がどんなバイトになるかを確かめられます。

Unicode と UTF-8 は別のもの

よく混同されますが、役割がちがいます。

  • Unicode:世界中の文字に番号(コードポイント)を割り振った表。「あ」は U+3042、「漢」は U+6F22
  • UTF-8 / UTF-16 など:その番号を、実際にバイトとして並べる方式

つまり「Unicode」は文字の番号表で、「UTF-8」はその番号の書き方のひとつです。同じ「あ」(U+3042)でも、UTF-8 では3バイト E3 81 82、UTF-16 では2バイト 30 42 になります。

UTF-8 の特徴

  • 英数字(ASCII)は1バイトで、昔の ASCII とそのまま互換
  • 日本語の多くは3バイト、絵文字は4バイト(例:😀 は F0 9F 98 80)
  • 世界中の文字を1つの方式で扱える
  • Web ページの大多数が UTF-8 で、新しく作るなら基本は UTF-8 を選べば困りません

Shift_JIS と CP932(Windows-31J)

Shift_JIS は、日本語の漢字・かなを2バイトで表す文字コードです。Windows で「Shift_JIS」「SJIS」「ANSI」と呼ばれているものは、実際には Microsoft が拡張した CP932(Windows-31J) であることが多いです。丸数字(①)や「㈱」などの機種依存文字は、この拡張に含まれます。

標準の Shift_JIS と CP932 では、一部の文字の対応がちがいます。有名なのが波ダッシュで、Unicode の「〜」(U+301C)と全角チルダの「~」(U+FF5E)が、環境によって入れ替わって見えることがあります。変換して「〜」が「?」や別の記号になったときは、この違いを疑ってください。

BOM とは

BOM(バイトオーダーマーク)は、ファイルの先頭に付ける印です。UTF-8 では EF BB BF の3バイトがあたります。もともと UTF-16 のバイト順を示すためのもので、UTF-8 には本来不要ですが、Excel が CSV を UTF-8 だと見分ける手がかりとして使われています。

  • BOM なしの UTF-8 の CSV を Excel で開くと、日本語が化けることがある
  • BOM 付き UTF-8 を、BOM を想定していないプログラムで読むと、先頭に見えない文字が入って、1列目の名前が一致しないことがある

くわしくはCSVの落とし穴で説明しています。

文字数とバイト数はちがう

「あ」は1文字ですが、UTF-8 では3バイト、Shift_JIS では2バイトです。データベースの列が「バイト数」で制限されている場合、同じ100文字でも、文字コードによって収まったり収まらなかったりします。文字数の数え方はこのツールの文字数カウントで、文字数とバイト数を並べて確認できます。

ファイルの文字コードを調べる

方法やり方
VS Code右下に現在の文字コードが表示される。クリック →「エンコード付きで再度開く」で別の文字コードを試せる
ターミナルfile --mime-encoding ファイル名(Mac / Linux)、nkf --guess ファイル名(nkf を入れた場合)
バイトを見るxxd ファイル名 | head で先頭のバイトを見る。EF BB BF から始まれば BOM 付き UTF-8

どの文字コードで化けているか分からないときは、化けた文字列を文字化け復元に貼り付けると、候補を総当たりで試せます。

関連ツール