Abrir um arquivo CSV

Ler um CSV sem deixar o Excel mexer nele

O motivo para olhar um CSV aqui, e não no Excel, é que o Excel o altera ao abrir. O zero à esquerda de um CEP ou de um número de conta é removido, porque a coluna parece numérica. Um identificador com mais de quinze dígitos é arredondado. Qualquer coisa parecida com uma data é reformatada no padrão local, então 03/05 muda de significado dependendo do país. E um nome de gene como SEPT1 vira uma data — um problema tão persistente que os geneticistas renomearam os genes. Nada disso acontece aqui: os valores aparecem exatamente como os bytes do arquivo dizem.

O CSV não tem um padrão de verdade, então o primeiro trabalho é descobrir o que o arquivo é. O delimitador pode ser vírgula, ponto e vírgula ou tabulação — configurações regionais europeias exportam com ponto e vírgula, porque a vírgula é o separador decimal — e a codificação pode ser UTF-8 ou uma página de código antiga, o que transforma nomes acentuados em caracteres embaralhados quando o palpite erra. Os dois são detectados, não presumidos, o que resolve quase toda exportação real, e os dois podem ser corrigidos manualmente quando a detecção erra, em vez de deixar você travado.

As aspas são onde visualizadores ingênuos falham. Um campo entre aspas pode legalmente conter vírgulas, quebras de linha e aspas duplicadas, então uma linha com um endereço ocupa várias linhas físicas no arquivo e continua sendo um único registro. Qualquer coisa que divida pelas vírgulas estraga exatamente essas linhas — e é por isso que um arquivo parece certo em um editor de texto e errado em um visualizador, ou o contrário.

Um arquivo irregular — com linhas que têm mais ou menos campos do que o cabeçalho — é mostrado como está, em vez de ser completado ou cortado discretamente, porque uma linha com o número errado de campos costuma ser o sintoma de um problema de aspas mais acima, e escondê-la esconde o bug. O arquivo inteiro é interpretado na página, então o uso de memória é proporcional ao seu tamanho.

Quando você precisa de outra coisa

Na linha de comando, o csvkit foi feito exatamente para isso: o csvlook imprime uma tabela alinhada, o csvstat resume cada coluna e o csvclean aponta e corrige as linhas irregulares. O Miller — mlr --icsv --opprint cat data.csv — faz o mesmo com velocidade e lida com arquivos maiores do que a memória. O VisiData é o que vale conhecer para explorar de forma interativa: ele abre um arquivo de vários gigabytes na hora, em um terminal, com ordenação, filtros e contagem de frequências.

Se você precisa abrir um CSV no Excel, use Dados → De Texto/CSV em vez de clicar duas vezes nele. A janela de importação permite definir o tipo de cada coluna antes de qualquer coisa ser interpretada, o que é a única forma confiável de impedir as conversões descritas acima. Clicar duas vezes dá ao Excel permissão para adivinhar, e ele adivinha com muita confiança.