JSON CSV 변환

트리를 격자로 펼치기

JSON은 트리이고 CSV는 사각형이며, 변환 전체가 하나를 다른 하나로 바꾸는 문제입니다. 깔끔한 경우는 모든 객체가 같은 키를 가진 객체 배열 입니다. 객체 하나가 한 행, 키 하나가 한 열이 되며, 잃는 것이 없습니다. 대부분의 API 응답과 내보내기 파일이 이런 모양이라 대개는 그냥 잘 됩니다. 곤란한 경우는 모두 이런 모양이 아닌 문서에서 생깁니다.

중첩 객체는 키를 이어 붙여 펼칩니다. 그래서 고객 안의 주소 객체는 address.city, address.postcode 같은 열이 됩니다. 어떤 스프레드시트든 다룰 수 있지만 어떤 표준도 정의하지 않은 관례입니다. 일부 객체에만 있는 키는 그 키가 없는 행에서 빈 열이 되며, 이것이 옳은 답입니다. 대안은 일부 레코드에만 있는 데이터를 버리는 것이기 때문입니다.

중첩 배열은 격자가 정말로 따라갈 수 없는 부분입니다. 주문 품목 세 개가 든 레코드 하나는 세 행이 아니라 목록을 담은 한 행입니다. 세 행으로 바꾸면 다른 모든 필드가 중복되고 데이터의 의미가 슬그머니 바뀝니다. 그래서 객체 배열 하나만 행으로 펼치고, 나머지 배열은 해당 셀에 텍스트로 씁니다. 주문이 아니라 주문 품목이 필요하다면 변환 대상을 그 배열로 지정하세요. 목록 두 개가 나란히 있는 트리에는 하나뿐인 정답 사각형이 없으며, 어느 쪽을 고를지는 여러분만 정할 수 있습니다.

내보낼 때 발목을 잡는 세부 사항이 두 가지 있습니다. 쉼표, 따옴표, 줄바꿈이 든 값은 살아남도록 따옴표로 감싸는데, 이는 올바른 CSV이지만 원시 파일을 들여다보면 이상해 보입니다. 그리고 긴 숫자 식별자는 CSV가 스프레드시트에 들어가는 순간 위험해집니다. Excel은 이를 숫자로 읽어 15자리를 넘으면 반올림하고 앞자리 0을 없애는데, 이는 변환이 아니라 스프레드시트가 만드는 문제입니다.

다른 작업이 필요할 때

모양을 추측하지 않고 직접 정해야 할 때는 jq 가 맞는 도구입니다. jq -r '.orders[] | [.id, .customer.name, .total] | @csv' 는 원하는 수준에서 원하는 필드만 정확히 골라내며, 이는 자동 평탄화 도구가 줄 수 없는 제어력입니다. 스트리밍도 되므로 파일 크기도 더 이상 고민거리가 아닙니다.

중첩 데이터 전반에는 Miller 의 mlr --ijson --ocsv flatten 과 Python의 pandas.json_normalize 가 얼마나 깊이 펼칠지, 목록은 어떻게 할지를 명시적으로 제어하게 해 줍니다. 그리고 JSON이 표 형태가 아니라 정말로 계층 구조라면, CSV로 변환하는 것 자체가 잘못된 생각일 수 있습니다. 데이터베이스나 줄 단위 JSON 파일은 격자가 버리려는 구조를 그대로 유지합니다.