Ouvrir un fichier CSV

Lire un CSV sans laisser Excel y toucher

Si l'on consulte un CSV ici plutôt que dans Excel, c'est parce qu'Excel le modifie en l'ouvrant. Le zéro initial d'un code postal ou d'un numéro de compte est supprimé, parce que la colonne a l'air numérique. Un identifiant de plus de quinze chiffres est arrondi. Tout ce qui ressemble à une date est reformaté selon la convention locale, si bien que 03/05 change de sens selon le pays. Et un nom de gène comme SEPT1 devient une date — un problème si tenace que les généticiens ont renommé les gènes. Rien de tel ici : les valeurs s'affichent exactement comme les octets du fichier les décrivent.

Le CSV n'a pas de véritable norme, donc la première tâche consiste à comprendre ce qu'est le fichier. Le séparateur peut être une virgule, un point-virgule ou une tabulation — les paramètres régionaux européens exportent des points-virgules, car la virgule y sert de séparateur décimal — et l'encodage peut être de l'UTF-8 ou une ancienne page de codes, ce qui transforme les noms accentués en caractères illisibles quand on se trompe. Les deux sont détectés plutôt que supposés, ce qui convient à presque tous les exports réels, et les deux peuvent être corrigés quand la détection se trompe, au lieu de vous laisser bloqué.

C'est sur les guillemets que les visionneuses naïves échouent. Un champ entre guillemets peut légitimement contenir des virgules, des retours à la ligne et des guillemets doublés : une ligne contenant une adresse postale s'étend donc sur plusieurs lignes physiques du fichier tout en restant un seul enregistrement. Tout ce qui découpe sur les virgules massacre précisément ces lignes — c'est pourquoi un fichier paraît correct dans un éditeur de texte et faux dans une visionneuse, ou l'inverse.

Un fichier irrégulier — des lignes avec plus ou moins de champs que l'en-tête — s'affiche tel quel au lieu d'être discrètement complété ou tronqué, car une ligne au mauvais nombre de champs est généralement le symptôme d'un problème de guillemets plus haut, et le masquer revient à masquer le bug. Le fichier entier est analysé dans la page, donc la mémoire utilisée est proportionnelle à sa taille.

Si vous cherchez autre chose

En ligne de commande, csvkit est fait exactement pour cela : csvlook affiche un tableau aligné, csvstat résume chaque colonne et csvclean signale et corrige les lignes irrégulières. Miller — mlr --icsv --opprint cat data.csv — fait de même à grande vitesse et gère des fichiers plus gros que la mémoire. VisiData est l'outil à connaître pour explorer de façon interactive : il ouvre instantanément un fichier de plusieurs gigaoctets dans un terminal, avec tri, filtres et comptages de fréquences.

Si vous devez ouvrir un CSV dans Excel, passez par Données → À partir d'un fichier texte/CSV plutôt que de double-cliquer dessus. La fenêtre d'importation vous permet de définir le type de chaque colonne avant toute analyse, et c'est le seul moyen fiable d'empêcher les conversions décrites ci-dessus. Double-cliquer autorise Excel à deviner, et il devine avec aplomb.