CSV JSON 변환

CSV가 보기보다 모호한 부분

CSV에는 제대로 된 표준이 없습니다. 대부분의 도구가 하는 방식을 설명한 2005년의 권고 사양이 있고, 그와 다르게 동작하는 소프트웨어가 아주 많습니다. 그래서 첫 번째 일은 파일이 실제로 어떤 것인지 알아내는 것입니다. 값이 쉼표, 세미콜론, 탭 중 무엇으로 구분되는지(유럽 로캘은 세미콜론으로 내보냅니다. 쉼표가 소수점 기호이기 때문입니다), 첫 행이 머리글인지, 따옴표를 어떻게 처리하는지 확인합니다. 따옴표로 감싼 필드에는 쉼표, 줄바꿈, 두 번 겹친 따옴표가 합법적으로 들어갈 수 있습니다. 그래서 쉼표로 나누는 것은 CSV를 읽는 잘못된 방법이며, 단순한 파서는 주소가 든 파일이라면 무엇이든 망가뜨립니다.

두 번째 일은 타입이며, JSON에는 CSV에 없는 구분이 있습니다. CSV 셀에는 텍스트만 들어 있지만, JSON은 숫자, 문자열, 불리언, null을 구분합니다. 누군가는 무엇이 무엇인지 정해야 하고, 중요한 것은 잘못되기 쉬운 결정들입니다. 우편번호, 전화번호, 계좌 번호에서 앞자리 0은 의미가 있으므로, 01234 같은 값은 숫자 1234가 아니라 문자열로 남아야 합니다. 긴 식별자도 마찬가지로, 약 9천조를 넘으면 JSON 숫자로는 정밀도를 잃습니다.

JSON에는 날짜 타입이 없으므로 날짜는 원래 텍스트 그대로 남습니다. 2024-03-05는 문자열 "2024-03-05"로 나오며, 이는 한계가 아니라 정직한 답입니다. 그 대안은 추측이고, 03/05/2024가 어떤 나라에서는 3월이 되고 다른 나라에서는 5월이 되는 것이 바로 추측 때문입니다. 날짜 변환은 원하는 형식을 아는 쪽, 즉 JSON을 받아 쓰는 쪽이 정할 일입니다.

마지막으로 조용히 실패하는 부분은 인코딩입니다. CSV에는 문자 인코딩 정보가 없으므로, Windows-1252로 저장된 파일을 UTF-8로 읽으면 정확히 악센트가 있는 이름이 든 행에서 글자가 깨집니다. 또 Excel이 파일 앞에 붙이는 바이트 순서 표시(BOM)를 처리하지 않으면 첫 번째 필드 이름에 이상한 문자로 나타납니다. 둘 다 특정 변환기가 아니라 CSV라는 형식의 특성입니다.

다른 작업이 필요할 때

메모리에 담기에 너무 큰 파일이나 스크립트로 처리하는 작업이라면 csvkit 이 딱 맞게 만들어져 있습니다. csvjson --stream data.csv 는 점진적으로 변환하고, csvlook 은 먼저 무엇이 들어 있는지 보여 주며, csvclean 은 이후 단계를 모두 망가뜨리는 들쭉날쭉한 행을 고칩니다. Miller 의 mlr --icsv --ojson cat data.csv 는 같은 일을 상당히 빠르게 하며, 대부분의 데이터 파이프라인이 실제로 원하는 줄 단위 JSON도 처리합니다.

편의보다 타입이 중요할 때는 타입을 추론하지 말고 선언한 코드로 변환하세요. Python pandas 에 명시적인 dtype 매핑을 주거나 스키마가 있는 짧은 스크립트를 쓰면, 우편번호는 우편번호로 남고 식별자는 모든 자릿수를 유지합니다. 전체를 보지 못한 파일에 대해서는 어떤 자동 추론도 이를 보장할 수 없습니다.