CSV को JSON में बदलें

जहां CSV जितनी दिखती है उससे ज़्यादा अस्पष्ट है

CSV का कोई असली मानक नहीं है — 2005 का एक सलाह वाला स्पेसिफ़िकेशन है जो बताता है कि ज़्यादातर टूल क्या करते हैं, और ढेर सारा सॉफ़्टवेयर है जो कुछ और करता है। इसलिए पहला काम यह पता करना है कि फ़ाइल असल में क्या है: वैल्यू कॉमा, सेमीकोलन या टैब से अलग हैं (यूरोपीय लोकेल सेमीकोलन एक्सपोर्ट करते हैं, क्योंकि वहां कॉमा दशमलव विभाजक है), पहली पंक्ति हेडर है या नहीं, और कोटिंग कैसे की गई है। कोट किए गए फ़ील्ड में नियम से कॉमा, नई लाइनें और दोहरे कोट मार्क हो सकते हैं, इसीलिए कॉमा पर तोड़ना इसे पढ़ने का ग़लत तरीक़ा है और इसीलिए भोला-भाला पार्सर पते वाली हर फ़ाइल बिगाड़ देता है।

टाइप दूसरा काम है, और JSON की ऐसी राय है जो CSV की नहीं। CSV सेल में टेक्स्ट होता है और कुछ नहीं; JSON नंबर, स्ट्रिंग, बूलियन और null में फ़र्क़ करता है। किसी को तय करना होता है कि कौन क्या है, और जो फ़ैसले मायने रखते हैं वही ग़लत होते हैं: पोस्टकोड, फ़ोन नंबर या अकाउंट रेफ़रेंस में शुरुआती ज़ीरो मायने रखता है, इसलिए 01234 जैसी वैल्यू को नंबर 1234 बनने के बजाय स्ट्रिंग ही रहना चाहिए। यही बात लंबे आइडेंटिफ़ायर पर लागू होती है, जो लगभग नौ क्वाड्रिलियन के बाद JSON नंबर के रूप में सटीकता खो देते हैं।

तारीख़ें उसी टेक्स्ट के रूप में रहती हैं जो वे थीं, क्योंकि JSON में तारीख़ का कोई टाइप नहीं है। 2024-03-05 स्ट्रिंग “2024-03-05” के रूप में आता है, और यह कमी नहीं, ईमानदार जवाब है — दूसरा रास्ता अंदाज़ा है, और अंदाज़े से ही 03/05/2024 एक देश में मार्च और दूसरे में मई बन जाता है। इन्हें बदलना उस चीज़ का फ़ैसला है जो JSON इस्तेमाल करेगी, क्योंकि उसे पता है कि उसे कौन-सा फ़ॉर्मैट चाहिए।

एन्कोडिंग आख़िरी चुपचाप होने वाली नाकामी है। CSV अपनी कैरेक्टर एन्कोडिंग का कोई ज़िक्र नहीं रखती, इसलिए Windows-1252 में सेव की गई और UTF-8 के रूप में पढ़ी गई फ़ाइल ठीक उन्हीं पंक्तियों में उलटे-पुलटे अक्षर दिखाती है जिनमें एक्सेंट वाले नाम हैं — और शुरुआत का बाइट ऑर्डर मार्क, जो Excel जोड़ता है, अगर संभाला न जाए तो पहले फ़ील्ड के नाम में फ़ालतू कैरेक्टर के रूप में दिखता है। ये दोनों किसी कन्वर्टर की नहीं, CSV की ख़ासियतें हैं।

जब आपको कुछ और चाहिए

मेमोरी में न समा सकने वाली फ़ाइलों के लिए, या किसी भी स्क्रिप्ट वाले काम के लिए, csvkit इसी मक़सद से बना है: csvjson --stream data.csv धीरे-धीरे कन्वर्ट करता है, csvlook आपको पहले देखने देता है कि आपके पास क्या है, और csvclean उन टेढ़ी-मेढ़ी पंक्तियों को ठीक करता है जो आगे सब कुछ तोड़ देती हैं। Miller — mlr --icsv --ojson cat data.csv — यही काम काफ़ी तेज़ी से करता है और लाइन-दर-लाइन JSON संभालता है, जो ज़्यादातर डेटा पाइपलाइन को असल में चाहिए।

जब सुविधा से ज़्यादा टाइप मायने रखते हों, तो कन्वर्ज़न कोड में करें, टाइप अंदाज़े से नहीं, घोषित करके। Python का pandas स्पष्ट dtype मैपिंग के साथ, या स्कीमा वाली एक छोटी स्क्रिप्ट, यह पक्का करती है कि पोस्टकोड पोस्टकोड रहे और आइडेंटिफ़ायर का हर अंक बचा रहे — जिसकी गारंटी कोई भी अपने-आप होने वाला अनुमान ऐसी फ़ाइल पर नहीं दे सकता जिसे उसने पूरा देखा न हो।