CSVをJSONに変換

CSVが見た目よりあいまいなところ

CSVには本当の意味での標準規格がありません。2005年に作られた、多くのツールの動作を記述した参考仕様はありますが、それとは違う動作をするソフトウェアが大量にあります。そこで最初の仕事は、ファイルの実態を見極めることです。値がカンマ、セミコロン、タブのどれで区切られているか（ヨーロッパのロケールではセミコロンで書き出されます。カンマが小数点だからです）、1行目が見出しかどうか、引用符がどう扱われているか。引用符で囲んだ項目には、カンマ、改行、二重にした引用符を正当に含めることができます。だからこそカンマで分割する読み方は誤りで、素朴なパーサーは住所を含むファイルをどれも壊してしまうのです。

型が2つ目の仕事で、JSONにはCSVにはないこだわりがあります。CSVのセルに入っているのはテキストだけですが、JSONは数値、文字列、真偽値、nullを区別します。どれがどれかを何かが判断しなければならず、重要なのは誤りやすい判断です。郵便番号、電話番号、口座番号では先頭のゼロに意味があるため、01234のような値は数値の1234にせず、文字列のまま残さなければなりません。長い識別子も同じで、JSONの数値ではおよそ9000兆を超えると精度が失われます。

JSONには日付型がないので、日付は元のテキストのまま残ります。2024-03-05は文字列"2024-03-05"として出力されます。これは制限ではなく誠実な答えです。ほかの選択肢は推測であり、推測こそが03/05/2024をある国では3月に、別の国では5月にしてしまう原因です。日付の変換は、自分が求める形式を知っているJSONの利用側が決めることです。

文字コードは、最後の静かな落とし穴です。CSVは自身の文字コードを記録しないため、Windows-1252で保存したファイルをUTF-8として読むと、アクセント記号付きの名前を含む行だけがちょうど文字化けします。また、Excelが先頭に付けるバイトオーダーマークは、正しく処理しないと最初の項目名に余計な文字として現れます。どちらも変換ツールではなく、CSVという形式の性質です。

ほかの目的には

メモリに収まらないほど大きなファイルや、スクリプトで処理するものには、専用に作られたcsvkitがあります。csvjson --stream data.csvは少しずつ変換し、csvlookで先に中身を確認でき、csvcleanは後工程をすべて壊す不揃いな行を修正します。Miller（mlr --icsv --ojson cat data.csv）も同じことをかなりの速さで行い、ほとんどのデータパイプラインが実際に求める行区切りのJSONにも対応しています。

手軽さより型が重要なときは、型を推測させるのではなく宣言して、コードで変換しましょう。Pythonのpandasでdtypeの対応を明示するか、スキーマ付きの小さなスクリプトを書けば、郵便番号は郵便番号のまま、識別子はすべての桁を保ったままになります。全体を見ていないファイルに対して、自動の推測ではこれを保証できません。