CSV 파일 열기

엑셀이 손대지 못하게 CSV 읽기

엑셀 대신 여기서 CSV를 봐야 하는 이유는, 엑셀이 파일을 열면서 내용을 바꾸기 때문입니다. 우편번호나 계좌번호의 앞자리 0은 열이 숫자처럼 보인다는 이유로 사라집니다. 15자리가 넘는 식별번호는 반올림됩니다. 날짜처럼 보이는 것은 지역 형식으로 바뀌어, 03/05의 의미가 나라마다 달라집니다. SEPT1 같은 유전자 이름은 날짜가 되는데, 이 문제가 워낙 끈질겨서 유전학자들이 유전자 이름을 바꿨을 정도입니다. 여기서는 그런 일이 전혀 일어나지 않습니다. 값은 파일의 바이트가 말하는 그대로 표시됩니다.

CSV에는 사실상 표준이 없어서, 먼저 파일이 어떤 형식인지 알아내야 합니다. 구분자는 쉼표, 세미콜론, 탭 중 하나일 수 있습니다. 유럽 지역에서는 쉼표가 소수점 기호라서 세미콜론으로 내보냅니다. 인코딩은 UTF-8일 수도 있고 예전 코드 페이지일 수도 있는데, 잘못 추측하면 악센트가 있는 이름이 깨진 문자로 바뀝니다. 둘 다 가정하지 않고 감지하므로 실제 내보내기 파일은 거의 모두 처리되며, 감지가 틀리면 막히지 않고 직접 바꿀 수 있습니다.

단순한 뷰어가 실패하는 곳은 따옴표 처리입니다. 따옴표로 감싼 필드에는 쉼표, 줄바꿈, 두 번 쓴 따옴표가 정당하게 들어갈 수 있어서, 주소가 담긴 행은 파일에서 여러 줄에 걸쳐 있어도 하나의 레코드입니다. 쉼표로만 나누는 도구는 바로 이런 행을 망가뜨립니다. 그래서 텍스트 편집기에서는 멀쩡한 파일이 뷰어에서는 이상하게 보이거나, 그 반대가 되기도 합니다.

들쭉날쭉한 파일, 즉 머리글보다 필드가 많거나 적은 행이 있는 파일은 몰래 채우거나 잘라 내지 않고 있는 그대로 보여 줍니다. 필드 수가 맞지 않는 행은 대개 그 위쪽 어딘가의 따옴표 문제에서 비롯된 증상이라, 이를 숨기면 버그도 숨겨지기 때문입니다. 파일 전체를 페이지 안에서 파싱하므로 메모리 사용량은 파일 크기에 비례합니다.

다른 작업이 필요할 때

명령줄에서는 csvkit이 바로 이런 용도로 만들어졌습니다. csvlook은 정렬된 표를 출력하고, csvstat은 모든 열을 요약하며, csvclean은 들쭉날쭉한 행을 찾아 고쳐 줍니다. Miller(mlr --icsv --opprint cat data.csv)는 같은 일을 빠르게 해내고 메모리보다 큰 파일도 처리합니다. 대화형으로 탐색하려면 VisiData를 알아 두세요. 수 GB 파일도 터미널에서 즉시 열고 정렬, 필터, 빈도 집계를 제공합니다.

꼭 엑셀에서 CSV를 열어야 한다면 더블클릭하지 말고 데이터 → 텍스트/CSV에서를 사용하세요. 가져오기 대화상자에서 파싱 전에 각 열의 형식을 지정할 수 있으며, 위와 같은 변환을 막는 확실한 방법은 이것뿐입니다. 더블클릭하면 엑셀에게 추측을 허락하는 셈이고, 엑셀은 자신 있게 추측합니다.