Конвертировать JSON в CSV

Как превратить дерево в сетку

JSON — это дерево, а CSV — прямоугольник, и вся конвертация сводится к вопросу, как одно превратить в другое. Простой случай — массив объектов с одинаковыми ключами: каждый объект — строка, каждый ключ — столбец, и ничего не теряется. Именно так выглядит большинство ответов API и выгрузок, поэтому обычно всё просто работает. Все сложности возникают из документов другой формы.

Вложенные объекты раскладываются соединением ключей, так что объект адреса внутри клиента превращается в столбцы вроде address.city и address.postcode — соглашение, которое понимает любая электронная таблица и не описывает ни один стандарт. Ключи, которые есть в одних объектах и отсутствуют в других, становятся столбцами, пустыми в строках, где их не было, — и это правильный ответ: иначе пришлось бы выбрасывать данные, которые есть только у части записей.

Вложенные массивы — это место, где сетка действительно не успевает за деревом. Одна запись с тремя строками заказа внутри — это одна строка со списком, а не три строки: если превратить её в три, все остальные поля продублируются, и смысл данных незаметно изменится. Поэтому в строки разворачивается один массив объектов, а все остальные записываются в свою ячейку как текст. Если вам нужны строки заказов, а не сами заказы, направьте конвертацию на этот массив; у дерева с двумя списками рядом нет единственно правильного прямоугольника, и выбрать его можете только вы.

На выходе есть две тонкости. Значения, содержащие запятую, кавычку или перевод строки, берутся в кавычки, чтобы уцелеть, — это правильный CSV, хотя в исходном файле выглядит странно. А длинный числовой идентификатор становится опасным, как только CSV попадает в электронную таблицу: Excel прочитает его как число, округлит после пятнадцатой цифры и отбросит ведущий ноль — это проблема, которую вносит электронная таблица, а не конвертация.

Если нужно другое

jq — правильный инструмент, когда структуру нужно определить, а не угадать: jq -r '.orders[] | [.id, .customer.name, .total] | @csv' выбирает ровно нужные поля ровно с нужного уровня — такого контроля автоматическое разворачивание дать не может. К тому же он работает потоком, так что размер файла перестаёт иметь значение.

Для вложенных данных в целом Miller — mlr --ijson --ocsv flatten — и pandas.json_normalize в Python дают явный контроль над тем, насколько глубоко разворачивать и что делать со списками. А если JSON по-настоящему иерархический, а не табличный, конвертировать его в CSV может быть вообще плохой идеей — база данных или файл JSON с записью на строку сохранят ту структуру, которую сетка вот-вот отбросит.