تحويل CSV إلى JSON

حيث يكون CSV أكثر غموضًا مما يبدو

لا يوجد لـ CSV معيار حقيقي — هناك مواصفة استرشادية من عام 2005 تصف ما تفعله معظم الأدوات، وقدر كبير من البرامج يفعل شيئًا آخر. لذا فالمهمة الأولى هي معرفة حقيقة الملف: هل تفصل القيم فواصل أم فواصل منقوطة أم علامات جدولة (الإعدادات الإقليمية الأوروبية تصدّر فواصل منقوطة، لأن الفاصلة هي فاصلها العشري)، وهل الصف الأول صف عناوين، وكيف يُعالَج الاقتباس. فالحقل المقتبس يمكن أن يحتوي نظاميًا على فواصل وأسطر جديدة وعلامات اقتباس مضاعفة، ولهذا يُعدّ التقسيم عند الفواصل طريقة خاطئة لقراءته، ولهذا يُفسد المحلل الساذج أي ملف يحتوي على عنوان بريدي.

والأنواع هي المهمة الثانية، ولـ JSON قواعد لا يعرفها CSV. فخلية CSV تحتوي على نص ولا شيء غيره؛ أما JSON فيميّز بين الأرقام والنصوص والقيم المنطقية وnull. ولا بد أن يقرر شيء ما أيها أي، والقرارات المهمة هي التي قد تسوء: الصفر البادئ له معنى في الرمز البريدي أو رقم الهاتف أو مرجع الحساب، لذا يجب أن تبقى قيمة مثل 01234 نصًا بدل أن تصبح الرقم 1234. وينطبق الأمر نفسه على المعرّفات الطويلة، التي تفقد دقتها كأرقام JSON بعد نحو تسعة كوادريليونات.

تبقى التواريخ كالنص الذي كانت عليه، لأن JSON لا يملك نوعًا للتاريخ. فالقيمة 2024-03-05 تخرج كالنص "2024-03-05"، وهذه هي الإجابة الصادقة لا قيدًا — فالبديل هو التخمين، والتخمين هو ما يجعل 03/05/2024 يعني مارس في بلد ومايو في بلد آخر. وتحويلها قرار يعود إلى البرنامج الذي يستهلك JSON، فهو يعرف الصيغة التي يريدها.

والترميز هو آخر إخفاق صامت. فملف CSV لا يحمل أي إشارة إلى ترميز أحرفه، لذا فإن ملفًا محفوظًا بترميز Windows-1252 ومقروءًا بترميز UTF-8 ينتج أحرفًا مشوّهة تحديدًا في الصفوف التي تحتوي على أسماء بأحرف مشكّلة — وعلامة ترتيب البايتات في البداية، التي يضيفها Excel، تظهر كأحرف شاردة في اسم الحقل الأول إذا لم تُعالَج. وكلاهما من خصائص CSV لا من خصائص أي محوّل.

عندما تحتاج إلى شيء آخر

للملفات الأكبر من أن تتسع لها الذاكرة، أو لأي عمل عبر السكربتات، صُمّم csvkit لهذا الغرض تحديدًا: يحوّل csvjson --stream data.csv الملف تدريجيًا، ويتيح لك csvlook رؤية ما لديك أولًا، ويصلح csvclean الصفوف غير المنتظمة التي تُفسد كل ما بعدها. أما Miller — mlr --icsv --ojson cat data.csv — فيفعل الشيء نفسه بسرعة كبيرة ويتعامل مع JSON المفصول بالأسطر، وهو ما تريده معظم مسارات البيانات فعلًا.

وحين تكون الأنواع أهم من السهولة، أجرِ التحويل بالشيفرة مع إعلان الأنواع بدل استنتاجها. فمكتبة pandas في Python مع تعيين dtype صريح، أو سكربت صغير بمخطط، يعني أن الرمز البريدي يبقى رمزًا بريديًا والمعرّف يحتفظ بكل أرقامه — وهو ما لا يستطيع أي استنتاج تلقائي ضمانه في ملف لم يرَه كله.