ExcelでCSVが文字化けする理由
日本語版のWindowsのExcelは、CSVをダブルクリックで開くと、中身をShift_JIS(正確にはCP932)として読もうとします。UTF-8で保存したCSVは、このときに「繧ウ繝ウ…」のような文字に化けます。Excelのバージョンや設定によっては、BOMがなくてもUTF-8と判断して開けることがありますが、確実ではありません。
| 保存形式 | Excelで開いたとき | 向いている場面 |
|---|---|---|
| UTF-8(BOMなし) | 化けることがある | プログラムで読む、Webサービスに渡す |
| UTF-8(BOM付き) | 日本語のまま開ける | Excelで開く CSV |
| Shift_JIS | 日本語のまま開ける | Shift_JIS前提の古いシステム・取り込み機能 |
BOMは、ファイルの先頭につく3バイト(EF BB BF)の目印です。これがあるとExcelはUTF-8だと判断します。逆に、BOMを理解しないプログラムでは、先頭の列名が name のようになることがあるので、機械が読むCSVにはBOMを付けないのが無難です。
Shift_JISで保存する場合、絵文字など Shift_JIS にない文字は「?」に置き換わります。置き換えた文字は、保存時にエラー欄へ表示します。このツールの Shift_JIS は Windows の CP932 と同じ範囲なので、①や㈱のような機種依存文字は、そのまま保存できます。
すでにある CSV が化けているとき
Excelで開いて化けたCSVは、ファイルを選ぶと文字コードを自動で判定して読み込みます。読み込む文字コードを選び直すこともできます。Excelに上書き保存してしまった後の文字化けは、文字化け復元で直せる場合があります。
Excelの側で直すなら、CSVを直接開かず、「データ」タブの「テキストまたはCSVから」で読み込みます。ここで「ファイルの元の形式」を、65001: Unicode (UTF-8) や 932: 日本語 (Shift-JIS) から選べます。
CSV → JSON の変換ルール
- 1行目をキー名にした、オブジェクトの配列になります。「ヘッダーなし」にすると、配列の配列になります。
- 値はすべて文字列です。「数値・true/false を型どおりに変換」にチェックすると、
12やtrueが数値・真偽値になります。007のような先頭が0の値や、15桁を超える長い数字(ID など)は、値が変わってしまうため文字列のままにします。 - ダブルクォートで囲んだセルの中のカンマ・改行・
""(引用符1つ分)は、正しく読み取ります。 - キー名が重複したときは
name_2のように連番を付け、空のキー名はcolumn3のようにします。 - セルが足りない行は空文字で埋めます。
JSON → CSV の変換ルール
- オブジェクトの配列は、全オブジェクトのキーをまとめた列になります。キーがないオブジェクトのセルは空欄です。
- 配列の配列は、そのまま行になります。値だけの配列は
valueという1列になります。 - 入れ子のオブジェクトや配列は、JSON文字列として1つのセルに入ります。列に分けたいときは、先にJSON側を平らにしておいてください。
nullは空欄になります。カンマ・引用符・改行を含む値だけを、ダブルクォートで囲みます。
Excelで開くときの落とし穴
文字コードを合わせても、Excelが値を勝手に変換することがあります。
007が7になる(先頭の0が消える)- 15桁を超える数字(クレジットカード番号、長いIDなど)の下の桁が
0になる 1-2や3/4が日付になる
これはCSVの中身ではなく、Excelの読み込み時の動きです。「テキストまたはCSVから」で読み込み、対象の列のデータ型を「テキスト」にすると防げます。
コードでの変換とBOM付き保存
| 環境 | コード |
|---|---|
| Python(BOM付きで保存) | df.to_csv('out.csv', index=False, encoding='utf-8-sig') |
| Python(Shift_JISのCSVを読む) | pd.read_csv('in.csv', encoding='cp932') |
| Python(JSON → CSV) | pd.read_json('in.json').to_csv('out.csv', index=False, encoding='utf-8-sig') |
| JavaScript(Node.js) | fs.writeFileSync('out.csv', '' + csv) |
| PHP(BOMを先頭に書く) | fwrite($fp, "\xEF\xBB\xBF"); のあとに fputcsv() |
| シェル(UTF-8 → Shift_JIS) | iconv -f UTF-8 -t CP932 in.csv > out.csv |
| jq(JSON → CSV) | jq -r '(.[0]|keys_unsorted) as $k | $k, (.[]|[.[$k[]]]) | @csv' in.json |
Python で Shift_JIS を指定するときは、shift_jis ではなく cp932 にします。shift_jis だと、①や㈱などでエラーになります。
JSONの中身を確認・整形したいときは JSON整形・圧縮、文字コードごとのバイト列を見たいときは 16進数(Hex)変換が使えます。
よくある質問
ExcelでCSVを開いたら文字化けします。どう保存すればいいですか?
「CSVの保存形式」を「UTF-8(BOM付き)」にして保存してください。それでも化ける場合は「Shift_JIS」にします。すでに化けたCSVは、ファイルを選んで文字コードを読み直せます。
入力したデータはサーバーに送られますか?
いいえ。変換はすべてブラウザの中で行い、貼り付けた内容も選んだファイルも外部に送信しません。社内のデータでも使えますが、念のためページを開いたあとにネットワークを切ってもかまいません。
タブ区切り(TSV)やセミコロン区切りも読めますか?
読めます。区切り文字を「自動」にすると、1行目の内容から判定します。判定が合わないときは、区切り文字を選んでください。
Shift_JISで保存すると「?」になる文字があります
絵文字や一部の記号など、Shift_JIS(CP932)にない文字は「?」に置き換わります。保存前にエラー欄に一覧を出します。置き換えたくない場合は、UTF-8(BOM付き)で保存してください。
JSONの入れ子の値はどうなりますか?
入れ子のオブジェクトや配列は、JSON文字列として1つのセルに入ります。CSVの列に展開はしません。
大きなファイルでも変換できますか?
ブラウザのメモリで処理するため、数十MBまでが目安です。20MBを超えるファイルは読み込まない設定にしています。それ以上は、Pythonなどのコードで変換してください。