CSV in JSON umwandeln

Wo CSV unschärfer ist, als es aussieht

CSV hat keinen echten Standard – es gibt eine unverbindliche Spezifikation von 2005, die beschreibt, was die meisten Tools tun, und sehr viel Software, die etwas anderes tut. Die erste Aufgabe ist also herauszufinden, was die Datei tatsächlich ist: ob die Werte durch Kommas, Semikolons oder Tabulatoren getrennt sind (europäische Gebietsschemas exportieren Semikolons, weil das Komma dort das Dezimaltrennzeichen ist), ob die erste Zeile eine Kopfzeile ist und wie mit Anführungszeichen umgegangen wird. Ein Feld in Anführungszeichen darf Kommas, Zeilenumbrüche und verdoppelte Anführungszeichen enthalten – deshalb ist das Aufteilen an Kommas der falsche Weg, eine CSV zu lesen, und deshalb beschädigt ein naiver Parser jede Datei, die eine Adresse enthält.

Die Typen sind die zweite Aufgabe, und JSON hat Ansprüche, die CSV nicht hat. Eine CSV-Zelle enthält Text und sonst nichts; JSON unterscheidet Zahlen, Strings, Boolesche Werte und null. Irgendetwas muss entscheiden, was was ist, und entscheidend sind die Fälle, die schiefgehen: Eine führende Null ist bedeutsam in einer Postleitzahl, einer Telefonnummer oder einer Kontonummer, daher muss ein Wert wie 01234 ein String bleiben, statt zur Zahl 1234 zu werden. Dasselbe gilt für lange Kennungen, die als JSON-Zahlen ab etwa neun Billiarden an Genauigkeit verlieren.

Datumswerte bleiben der Text, der sie waren, denn JSON hat keinen Datumstyp. 2024-03-05 wird als String "2024-03-05" ausgegeben, und das ist die ehrliche Antwort, keine Einschränkung – die Alternative wäre Raten, und durch Raten wird 03/05/2024 in einem Land zum März und im anderen zum Mai. Die Umwandlung ist eine Entscheidung für das, was das JSON verarbeitet, denn das kennt das gewünschte Format.

Die Kodierung ist der letzte stille Fehler. Eine CSV enthält keinen Hinweis auf ihre Zeichenkodierung, daher erzeugt eine als Windows-1252 gespeicherte und als UTF-8 gelesene Datei Zeichensalat – genau in den Zeilen mit Namen, die Akzente enthalten. Und eine Byte-Order-Mark am Anfang, die Excel hinzufügt, erscheint als verirrte Zeichen im ersten Feldnamen, wenn sie nicht behandelt wird. Beides sind Eigenschaften von CSV, nicht eines bestimmten Konverters.

Wenn Sie etwas anderes brauchen

Für Dateien, die zu groß für den Arbeitsspeicher sind, oder für alles, was per Skript laufen soll, ist csvkit genau das Richtige: csvjson --stream data.csv wandelt schrittweise um, mit csvlook sehen Sie sich zuerst an, was Sie haben, und csvclean repariert die ungleich langen Zeilen, die alles Nachfolgende aus dem Tritt bringen. Miller – mlr --icsv --ojson cat data.csv – erledigt dasselbe sehr schnell und kommt mit zeilenweisem JSON zurecht, das die meisten Datenpipelines eigentlich wollen.

Wenn die Typen wichtiger sind als die Bequemlichkeit, erledigen Sie die Umwandlung in Code, mit festgelegten statt abgeleiteten Typen. Pythons pandas mit einer expliziten dtype-Zuordnung oder ein kleines Skript mit Schema sorgt dafür, dass eine Postleitzahl eine Postleitzahl bleibt und eine Kennung jede Ziffer behält – was keine automatische Erkennung für eine Datei garantieren kann, die sie nicht vollständig gesehen hat.