Открыть CSV-файл

Как прочитать CSV, не отдавая его Excel

Смотреть CSV здесь, а не в Excel, стоит потому, что Excel меняет файл прямо при открытии. Ведущий ноль в почтовом индексе или номере счёта удаляется, потому что столбец похож на числовой. Идентификатор длиннее пятнадцати цифр округляется. Всё, что напоминает дату, переформатируется по местным правилам, так что 03/05 означает разное в зависимости от страны. А название гена вроде SEPT1 становится датой — проблема настолько живучая, что генетики переименовали гены. Здесь ничего подобного не происходит: значения показываются ровно такими, какими их задают байты файла.

У CSV нет настоящего стандарта, поэтому сначала нужно понять, что это за файл. Разделителем может быть запятая, точка с запятой или табуляция — в европейских локалях выгружают с точкой с запятой, потому что запятая там служит десятичным разделителем, — а кодировкой может быть UTF-8 или устаревшая кодовая страница: при неверной догадке имена с диакритикой превращаются в кракозябры. И то и другое определяется, а не предполагается, что подходит почти для любой реальной выгрузки, а если определение ошиблось, их можно задать вручную, а не остаться ни с чем.

Кавычки — то место, где наивные просмотрщики ломаются. Поле в кавычках по правилам может содержать запятые, переносы строк и удвоенные кавычки, поэтому строка с почтовым адресом занимает в файле несколько физических строк, оставаясь одной записью. Всё, что просто делит текст по запятым, портит именно такие строки — вот почему файл выглядит нормально в текстовом редакторе и неправильно в просмотрщике или наоборот.

Неровный файл — со строками, где полей больше или меньше, чем в заголовке, — показывается как есть, без тихого дополнения или обрезки: строка с неправильным числом полей обычно симптом проблемы с кавычками где-то выше, и, скрыв её, вы скроете и ошибку. Весь файл разбирается на странице, поэтому расход памяти пропорционален его размеру.

Если нужно другое

В командной строке для этого создан csvkit: csvlook выводит выровненную таблицу, csvstat даёт сводку по каждому столбцу, а csvclean находит и исправляет неровные строки. Miller — mlr --icsv --opprint cat data.csv — делает то же самое быстро и справляется с файлами больше объёма памяти. Для интерактивного изучения стоит знать VisiData: он мгновенно открывает многогигабайтный файл в терминале, с сортировкой, фильтрацией и подсчётом частот.

Если открывать CSV в Excel всё же нужно, используйте Данные → Из текстового/CSV-файла (Data → From Text/CSV), а не двойной щелчок. Окно импорта позволяет задать тип каждого столбца до разбора — это единственный надёжный способ избежать описанных выше преобразований. Двойной щелчок даёт Excel право угадывать, и угадывает он очень уверенно.