CSVファイルを開く

Excelに触らせずにCSVを読む

ExcelではなくここでCSVを見る理由は、Excelが開く時点でCSVを書き換えてしまうからです。 郵便番号や口座番号の先頭のゼロは、列が数値に見えるという理由で消されます。15桁を超える識別番号は丸められます。日付に見えるものは地域の書式に変換されるので、03/05の意味は国によって変わります。SEPT1のような遺伝子名は日付になってしまい、この問題があまりに根深いため、遺伝学者は遺伝子の名前を変えました。ここではそうしたことは一切起こらず、値はファイル内のバイトが示すとおりに表示されます。

CSVには実質的な標準がないため、まずはファイルがどういうものかを見極める必要があります。区切り文字 はカンマ、セミコロン、タブのいずれかの可能性があります。ヨーロッパの地域設定ではカンマが小数点に使われるため、セミコロンでエクスポートされます。文字コード はUTF-8か古いコードページのどちらかで、判定を誤るとアクセント付きの名前が文字化けします。どちらも決め打ちせず自動判定するので、現実のエクスポートのほぼすべてに対応でき、判定が外れたときも手詰まりにならずに手動で変更できます。

単純なビューアーがつまずくのは引用符の扱いです。引用符で囲まれたフィールドにはカンマ、改行、二重にした引用符を正式に含められるので、住所を持つ行はファイル内で物理的に複数行にまたがっていても、1件のレコードのままです。カンマで区切るだけの処理は、まさにそうした行を壊します。テキストエディタでは問題なく見えるのにビューアーではおかしく見える、またはその逆になるのはこのためです。

列数がそろっていないファイル、つまりヘッダーよりフィールドが多い・少ない行があるファイルは、黙って補ったり切り詰めたりせず、そのまま表示します。フィールド数の合わない行は、たいていそれより上にある引用符の問題の症状で、それを隠すとバグも隠れてしまうからです。ファイル全体をページ内で解析するため、メモリ使用量はファイルサイズに比例します。

ほかの目的には

コマンドラインでは、csvkit がまさにこの用途のために作られています。csvlook は整列した表を表示し、csvstat はすべての列を要約し、csvclean は列数のそろわない行を報告して修正します。Miller（mlr --icsv --opprint cat data.csv）は同じことを高速に行い、メモリより大きなファイルも扱えます。対話的に探索するなら VisiData を知っておくとよいでしょう。数GBのファイルもターミナルで瞬時に開き、並べ替え、絞り込み、出現回数の集計ができます。

どうしてもExcelでCSVを開くなら、ダブルクリックではなく ［データ］→［テキストまたはCSVから］ を使ってください。インポート画面では、解析の前に各列のデータ型を指定できます。上で挙げた変換を防ぐ確実な方法はこれだけです。ダブルクリックはExcelに推測を任せることになり、Excelは自信たっぷりに推測します。