CSV とは
CSV(Comma-Separated Values)は、値をカンマで区切って並べた、1行1レコードのテキストファイルです。どんな言語でも、どんなソフトでも読み書きできる一方、型や文字コードの情報を持たないので、読む側のソフトが勝手に解釈してトラブルになります。
落とし穴1:日本語が文字化けする
最も多いトラブルです。日本語版の Excel(Windows)は、BOM のない CSV をShift_JIS(CP932)として読むため、UTF-8 で保存された CSV は化けます。対処は2つあります。
- BOM 付き UTF-8 で保存する。先頭の
EF BB BFが目印になり、Excel が UTF-8 と判断する - Shift_JIS で保存する。Excel でそのまま開けるが、絵文字や一部の漢字が「?」になる
逆に、BOM 付き UTF-8 を、BOM を想定していないプログラムで読むと、先頭の列名の前に見えない文字が付くことがあります。用途に合わせて選んでください。このサイトのCSV⇔JSON変換は、BOM 付き UTF-8 と Shift_JIS のどちらでも保存できます。すでに化けた CSV は、文字化け復元で試せます。
落とし穴2:先頭の0が消える
電話番号 09012345678 や郵便番号 0123456、商品コード 00123 を Excel で開くと、数値とみなされて先頭の0が消えます(9012345678)。ファイルの中身は変わっていませんが、Excel で保存し直すと消えたままになります。
- データタブの「テキストファイル」やインポート機能から開き、列の形式を「文字列」にする
- Excel を使わず、テキストエディタ(VS Code など)で確認する
- CSV を作る側で、
="09012345678"のように書く方法もあるが、他のソフトでは文字として見えてしまう
落とし穴3:長い数字が崩れる
Excel が数値として正確に扱えるのは、有効数字15桁までです。16桁のクレジットカード番号や、長い ID を開くと、1.23457E+15 のような指数表記になったり、16桁目以降が 0 に書き換わったりします。こうした値も、文字列として読み込む必要があります。
落とし穴4:日付に変わる
「1-2」「3/4」のような値は、Excel が日付(1月2日、3月4日)に変換します。バージョン番号(1.10 が 1.1 になる)や、「SEPT2」のような記号が日付になる問題もあります。研究の世界では、遺伝子の名前が日付に変換されてしまい、名前を変更する決定がされたほどです。これも、列を「文字列」にして読み込むことで避けられます。
落とし穴5:カンマ・改行・引用符を含む値
値の中にカンマや改行があると、区切りと区別できません。CSV の標準的な決まり(RFC 4180)では、次のように書きます。
| 元の値 | CSV での書き方 |
|---|---|
東京, 大阪(カンマを含む) | "東京, 大阪"(全体をダブルクォートで囲む) |
| 1行目と2行目のあいだに改行がある値 | 改行ごと " で囲む |
彼は"はい"と言った(" を含む) | "彼は""はい""と言った"(" を2つ重ねる) |
文字列を連結して CSV を作ると、これを見落としやすいので、各言語の CSV ライブラリ(Python の csv、PHP の fputcsv など)を使うのが確実です。
落とし穴6:区切り文字・改行コードの違い
- 区切り文字:日本語環境の Excel はカンマが標準です。欧州の一部の設定ではセミコロン区切りが標準で、同じ CSV が1列に見えることがあります。タブ区切りは TSV と呼びます。
- 改行コード:Windows は CRLF、Mac / Linux は LF です。多くのソフトは両方読めますが、末尾の余分な改行が「空の行」として読まれることがあります。
落とし穴7:数式インジェクション
ユーザーの入力を CSV に出力して配布するとき、値が =、+、-、@ で始まっていると、Excel が数式として実行することがあります。悪意のある数式が入ると、情報の外部送信などにつながるため、CSV インジェクションと呼ばれる対策が必要です。出力する側で、これらの文字で始まる値の先頭にシングルクォート(')などを付けて、文字列として扱わせるのが一般的な対策です。
JSON との変換で気をつけること
API の結果(JSON)を CSV にするときは、入れ子の項目をどう平らにするか、配列をどう1つの値にするか、列のないキーを空にするか、を決める必要があります。このサイトのCSV⇔JSON変換に実際のルールをまとめています。
チェックリスト
- Excel で開く CSV は、BOM 付き UTF-8 か Shift_JIS で保存したか。
- 先頭が0の値、15桁以上の値、日付に見える値は、「文字列」として読み込んだか。
- カンマ・改行・
"を含む値を、ダブルクォートで囲んだか(ライブラリを使ったか)。 - 外部の入力を出力するなら、
= + - @で始まる値の対策をしたか。 - Excel で保存し直す前に、元のファイルのコピーを取ったか。