Convertir CSV a JSON

Donde CSV es más impreciso de lo que parece

CSV no tiene un estándar real: existe una especificación orientativa de 2005 que describe lo que hacen la mayoría de las herramientas, y muchísimo software que hace otra cosa. Así que lo primero es averiguar qué es realmente el archivo: si los valores están separados por comas, puntos y coma o tabulaciones (las configuraciones regionales europeas exportan con punto y coma, porque la coma es su separador decimal), si la primera fila es un encabezado y cómo se manejan las comillas. Un campo entre comillas puede contener legítimamente comas, saltos de línea y comillas duplicadas; por eso separar por comas es la forma equivocada de leerlo, y por eso un analizador ingenuo corrompe cualquier archivo que contenga una dirección.

Los tipos son lo segundo, y JSON tiene criterios que CSV no tiene. Una celda CSV contiene texto y nada más; JSON distingue números, cadenas, booleanos y null. Algo tiene que decidir qué es cada cosa, y las decisiones que importan son las que salen mal: un cero inicial es significativo en un código postal, un número de teléfono o una referencia de cuenta, así que un valor como 01234 debe quedarse como cadena y no convertirse en el número 1234. Lo mismo vale para los identificadores largos, que pierden precisión como números JSON por encima de unos nueve mil billones.

Las fechas se quedan como el texto que eran, porque JSON no tiene tipo de fecha. 2024-03-05 sale como la cadena "2024-03-05", y esa es la respuesta honesta, no una limitación: la alternativa es adivinar, y adivinando es como 03/05/2024 se vuelve marzo en un país y mayo en otro. Convertirlas es una decisión de lo que vaya a consumir el JSON, que sabe qué formato quiere.

La codificación es la última falla silenciosa. Un CSV no lleva ninguna indicación de su codificación de caracteres, así que un archivo guardado como Windows-1252 y leído como UTF-8 produce caracteres ilegibles justo en las filas con nombres acentuados; y una marca de orden de bytes al inicio, que Excel agrega, aparece como caracteres sueltos en el nombre del primer campo si no se maneja. Ambas cosas son propiedades de CSV, no de un convertidor en particular.

Si buscas otra cosa

Para archivos demasiado grandes para caber en memoria, o para cualquier cosa automatizada, csvkit está hecho a propósito: csvjson --stream data.csv convierte de forma incremental, csvlook te deja ver primero lo que tienes y csvclean arregla las filas irregulares que rompen todo lo que viene después. Miller (mlr --icsv --ojson cat data.csv) hace lo mismo a gran velocidad y maneja JSON delimitado por líneas, que es lo que realmente quieren la mayoría de las canalizaciones de datos.

Cuando los tipos importan más que la comodidad, haz la conversión en código con los tipos declarados en lugar de deducidos. pandas de Python con un mapeo dtype explícito, o un pequeño script con un esquema, garantiza que un código postal siga siendo un código postal y que un identificador conserve todos sus dígitos, algo que ninguna inferencia automática puede garantizar en un archivo que no ha visto completo.