Chuyển CSV sang JSON

Những chỗ CSV mơ hồ hơn vẻ ngoài

CSV không có tiêu chuẩn thực sự nào — chỉ có một bản đặc tả mang tính khuyến nghị từ năm 2005 mô tả cách hầu hết công cụ làm, và rất nhiều phần mềm làm theo cách khác. Vì vậy việc đầu tiên là xác định file thực sự là gì: các giá trị được phân cách bằng dấu phẩy, dấu chấm phẩy hay tab (các vùng châu Âu xuất ra dấu chấm phẩy, vì dấu phẩy là dấu thập phân của họ), hàng đầu tiên có phải tiêu đề không, và dấu ngoặc kép được xử lý thế nào. Một trường đặt trong ngoặc kép hoàn toàn hợp lệ khi chứa dấu phẩy, dấu xuống dòng và dấu ngoặc kép kép, vì vậy tách theo dấu phẩy là cách đọc sai, và một trình phân tích ngây thơ sẽ làm hỏng mọi file có chứa địa chỉ.

Kiểu dữ liệu là việc thứ hai, và JSON có những quy định mà CSV không có. Một ô CSV chỉ chứa văn bản, không gì khác; JSON phân biệt số, chuỗi, giá trị logic và null. Phải có thứ gì đó quyết định cái nào là cái nào, và những quyết định quan trọng là những quyết định dễ sai: số 0 ở đầu có ý nghĩa trong mã bưu chính, số điện thoại hay mã tài khoản, nên một giá trị như 01234 phải giữ nguyên là chuỗi chứ không thành số 1234. Điều tương tự áp dụng cho mã định danh dài, vốn bị mất độ chính xác khi là số JSON vượt quá khoảng chín triệu tỷ.

Ngày tháng giữ nguyên dạng chữ như ban đầu, vì JSON không có kiểu ngày tháng. 2024-03-05 được xuất ra thành chuỗi "2024-03-05", và đó là câu trả lời trung thực chứ không phải hạn chế — cách còn lại là đoán, và đoán chính là cách mà 03/05/2024 thành tháng Ba ở nước này và tháng Năm ở nước khác. Việc chuyển đổi chúng là quyết định của phần mềm sử dụng JSON, nơi biết rõ định dạng mình cần.

Bảng mã là lỗi âm thầm cuối cùng. File CSV không ghi chú gì về bảng mã ký tự của nó, nên một file lưu theo Windows-1252 mà đọc theo UTF-8 sẽ sinh ra chữ lỗi font đúng ở những hàng chứa tên có dấu — và dấu thứ tự byte (BOM) ở đầu file, thứ Excel tự thêm vào, sẽ hiện thành ký tự lạ trong tên trường đầu tiên nếu không được xử lý. Cả hai đều là đặc tính của CSV chứ không phải của bất kỳ công cụ chuyển đổi nào.

Khi bạn cần công cụ khác

Với file quá lớn để giữ trong bộ nhớ, hoặc với mọi thứ chạy bằng script, csvkit được làm ra đúng cho việc này: csvjson --stream data.csv chuyển đổi dần từng phần, csvlook cho bạn xem trước mình đang có gì, và csvclean sửa những hàng lệch cột vốn làm hỏng mọi bước phía sau. Miller — mlr --icsv --ojson cat data.csv — làm điều tương tự với tốc độ rất cao và xử lý được JSON phân tách theo dòng, thứ mà hầu hết các quy trình xử lý dữ liệu thực sự cần.

Khi kiểu dữ liệu quan trọng hơn sự tiện lợi, hãy chuyển đổi bằng mã với kiểu dữ liệu được khai báo thay vì suy luận. pandas của Python với ánh xạ dtype tường minh, hoặc một script nhỏ có lược đồ, giúp mã bưu chính vẫn là mã bưu chính và mã định danh giữ đủ mọi chữ số — điều mà không cơ chế suy luận tự động nào đảm bảo được trên một file mà nó chưa xem hết.