Convertir un CSV en JSON

Là où le CSV est plus flou qu'il n'y paraît

Le CSV n'a pas de vrai standard — il existe une spécification indicative de 2005 qui décrit ce que font la plupart des outils, et une foule de logiciels qui font autre chose. La première tâche consiste donc à déterminer ce qu'est réellement le fichier : si les valeurs sont séparées par des virgules, des points-virgules ou des tabulations (les paramètres régionaux européens exportent des points-virgules, car la virgule y sert de séparateur décimal), si la première ligne est un en-tête, et comment les guillemets sont gérés. Un champ entre guillemets peut légalement contenir des virgules, des sauts de ligne et des guillemets doublés : c'est pourquoi découper sur les virgules est la mauvaise façon de le lire, et pourquoi un analyseur naïf corrompt tout fichier contenant une adresse.

Les types sont la deuxième tâche, et le JSON a des exigences que le CSV n'a pas. Une cellule CSV contient du texte et rien d'autre ; le JSON distingue nombres, chaînes, booléens et null. Il faut bien décider qui est quoi, et les décisions qui comptent sont celles qui tournent mal : un zéro initial est significatif dans un code postal, un numéro de téléphone ou une référence de compte, donc une valeur comme 01234 doit rester une chaîne au lieu de devenir le nombre 1234. Il en va de même pour les longs identifiants, qui perdent en précision en tant que nombres JSON au-delà d'environ neuf billiards.

Les dates restent le texte qu'elles étaient, car le JSON n'a pas de type date. 2024-03-05 sort sous la forme de la chaîne "2024-03-05", et c'est la réponse honnête plutôt qu'une limite — l'alternative serait de deviner, et c'est en devinant que 03/05/2024 devient mars dans un pays et mai dans un autre. Les convertir est une décision qui revient à ce qui consomme le JSON, et qui sait quel format il veut.

L'encodage est la dernière défaillance silencieuse. Un CSV ne précise pas son encodage de caractères : un fichier enregistré en Windows-1252 et lu en UTF-8 produit du charabia exactement dans les lignes contenant des noms accentués — et une marque d'ordre des octets (BOM) en début de fichier, qu'ajoute Excel, apparaît comme des caractères parasites dans le premier nom de champ si elle n'est pas gérée. Ce sont deux propriétés du CSV, et non d'un convertisseur en particulier.

Si vous cherchez autre chose

Pour les fichiers trop gros pour tenir en mémoire, ou pour tout ce qui est scripté, csvkit est conçu pour cela : csvjson --stream data.csv convertit de façon incrémentale, csvlook vous montre d'abord ce que vous avez, et csvclean répare les lignes irrégulières qui cassent tout en aval. Miller — mlr --icsv --ojson cat data.csv — fait de même à une vitesse considérable et gère le JSON délimité par lignes, ce que veulent réellement la plupart des pipelines de données.

Quand les types comptent plus que la commodité, faites la conversion dans du code, avec des types déclarés plutôt que déduits. pandas en Python avec un mappage dtype explicite, ou un petit script avec un schéma, garantit qu'un code postal reste un code postal et qu'un identifiant garde tous ses chiffres — ce qu'aucune inférence automatique ne peut garantir sur un fichier qu'elle n'a pas vu en entier.