Конвертировать CSV в JSON

Где CSV расплывчатее, чем кажется

У CSV нет настоящего стандарта — есть рекомендательная спецификация 2005 года, описывающая то, что делает большинство инструментов, и масса программ, которые делают что-то другое. Поэтому первая задача — понять, что на самом деле представляет собой файл: чем разделены значения — запятыми, точками с запятой или табуляциями (в европейских региональных настройках экспортируется точка с запятой, потому что запятая там — десятичный разделитель), является ли первая строка заголовком и как обрабатываются кавычки. Поле в кавычках может законно содержать запятые, переводы строк и удвоенные кавычки — вот почему разбивать строку по запятым неправильно и почему наивный парсер портит любой файл, где есть адрес.

Вторая задача — типы, и у JSON на этот счёт есть мнение, которого нет у CSV. Ячейка CSV содержит текст и ничего больше; JSON различает числа, строки, логические значения и null. Кто-то должен решить, что есть что, и важны как раз те решения, в которых легко ошибиться: ведущий ноль значим в почтовом индексе, номере телефона или номере счёта, поэтому значение вроде 01234 должно остаться строкой, а не стать числом 1234. То же касается длинных идентификаторов, которые в виде чисел JSON теряют точность после примерно девяти квадриллионов.

Даты остаются текстом, каким были, потому что в JSON нет типа даты. 2024-03-05 выводится как строка "2024-03-05", и это честный ответ, а не ограничение: альтернатива — угадывать, а именно так 03/05/2024 становится мартом в одной стране и маем в другой. Их конвертация — решение для того, кто будет использовать JSON: он знает, какой формат ему нужен.

Кодировка — последняя незаметная ошибка. CSV никак не отмечает свою кодировку, поэтому файл, сохранённый в Windows-1252 и прочитанный как UTF-8, выдаёт кракозябры ровно в тех строках, где есть имена с диакритикой, — а маркер порядка байтов в начале, который добавляет Excel, если его не обработать, появляется лишними символами в названии первого поля. И то и другое — свойства CSV, а не какого-то конвертера.

Если нужно другое

Для файлов, слишком больших для памяти, или для всего, что делается скриптами, создан csvkit: csvjson --stream data.csv конвертирует по частям, csvlook позволяет сначала посмотреть, что у вас есть, а csvclean исправляет неровные строки, которые ломают всё дальше по цепочке. Miller — mlr --icsv --ojson cat data.csv — делает то же самое с немалой скоростью и умеет JSON с записью на строку, который на самом деле и нужен большинству конвейеров данных.

Когда типы важнее удобства, выполняйте конвертацию в коде, объявляя типы, а не выводя их. pandas в Python с явным сопоставлением dtype или небольшой скрипт со схемой гарантируют, что почтовый индекс останется почтовым индексом, а идентификатор сохранит все цифры, — чего никакой автоматический вывод типов не гарантирует для файла, который он не видел целиком.