Remover linhas duplicadas

O que acontece com as linhas que ficam

Há dois tipos diferentes de tratamento de espaços nesta página, e vale não confundi-los. Remover espaços para comparar monta a chave e nunca edita suas linhas — a cópia que fica mantém exatamente o espaçamento original. As opções de organização fazem o contrário: remover o recuo, reduzir sequências de espaços e tabulações e tirar os espaços das pontas das linhas são edições de verdade, e acontecem antes de qualquer remoção de duplicatas, então ativar uma delas muda discretamente o que conta como duplicata, além da aparência das linhas.

Uma linha em branco é comparada como qualquer outra linha, o que significa que toda linha em branco depois da primeira desaparece junto com as outras duplicatas — uma lista com espaçamento entre parágrafos volta com uma única linha em branco, na posição em que estava a primeira. E o relatório do que se repetiu mostra a chave, e não a sua linha: sem os espaços das pontas, e em minúsculas se você pediu para ignorar maiúsculas e minúsculas. Uma entrada que aparece na sua lista como Silva e como SILVA é, portanto, informada uma vez, em minúsculas, com contagem dois. Essa lista mostra no máximo as cinquenta mais comuns.

Seja o que for que entre, o que sai é unido só com quebras de linha simples (LF), então uma lista colada de um arquivo do Windows perde os retornos de carro no caminho — normalmente é o que você queria, e vale saber se você for colar o resultado de volta em algo que se importa com isso. Mais um efeito colateral: ativar “Ignorar maiúsculas e minúsculas” muda a ordenação além da comparação, e a ordenação então também deixa de distinguir letras acentuadas das sem acento, de modo que “avó” e “avo” saem juntos em vez de separados.

Quando você precisa de outra coisa

Quando a lista é na verdade uma tabela, comparar linhas é a ferramenta com o formato errado. Um CSV em que “duplicata” significa duas linhas que coincidem em uma coluna não é uma questão de texto, e tratá-lo assim ou deixa passar as duplicatas ou remove linhas que só pareciam iguais. O recurso Remover Duplicatas da própria planilha faz isso direito em um arquivo que você já tem aberto, e mlr uniq -g faz o mesmo na linha de comando, indicando o campo que decide, em qualquer tamanho.

Para uma lista grande demais para caber em uma aba, ou que você vai limpar de novo na semana que vem, a linha de comando resolve com uma única expressão que processa em fluxo: awk '!seen[$0]++' mantém a primeira cópia e a ordem original, que é exatamente o que esta página faz por padrão, em um arquivo maior que a sua memória. Ela não remove espaços, não ignora maiúsculas e minúsculas e não informa o que se repetiu — essa é a troca, e para um arquivo de dez milhões de linhas é a certa.