Chuyển JSON sang CSV

Trải phẳng một cây thành một lưới

JSON là một cái cây còn CSV là một hình chữ nhật, và toàn bộ việc chuyển đổi là câu hỏi làm sao để cái này thành cái kia. Trường hợp gọn gàng là một mảng các object có cùng các khóa — mỗi object là một hàng, mỗi khóa là một cột, và không mất gì cả. Hầu hết kết quả trả về từ API và file xuất đều có dạng đó, nên việc chuyển đổi thường cứ thế mà chạy. Mọi rắc rối đều đến từ những tài liệu không có dạng như vậy.

Object lồng nhau được trải phẳng bằng cách nối các khóa của chúng, nên một object địa chỉ nằm trong một khách hàng trở thành các cột như address.city và address.postcode — một quy ước mà mọi bảng tính đều xử lý được nhưng không tiêu chuẩn nào định nghĩa. Khóa xuất hiện ở một số object mà không có ở số khác sẽ trở thành cột để trống ở những hàng thiếu nó, và đó là cách đúng: cách còn lại là bỏ đi dữ liệu mà chỉ một số bản ghi mang theo.

Mảng lồng nhau là chỗ một cái lưới thực sự không theo kịp. Một bản ghi chứa ba dòng đơn hàng bên trong là một hàng chứa một danh sách, không phải ba hàng — biến nó thành ba hàng sẽ nhân bản mọi trường khác và lặng lẽ thay đổi ý nghĩa của dữ liệu. Vì vậy một mảng các object được mở rộng thành các hàng, còn các mảng khác được ghi vào ô của chúng dưới dạng văn bản. Nếu thứ bạn cần là các dòng đơn hàng chứ không phải các đơn hàng, hãy trỏ việc chuyển đổi vào mảng đó; một cái cây có hai danh sách song song không có một hình chữ nhật đúng duy nhất, và chọn cái nào là quyết định chỉ bạn mới đưa ra được.

Có hai chi tiết dễ gây phiền khi xuất ra. Giá trị chứa dấu phẩy, dấu ngoặc kép hoặc dấu xuống dòng được đặt trong ngoặc kép để giữ nguyên vẹn — đó là CSV đúng chuẩn, dù trông lạ nếu bạn xem file thô. Và một mã định danh dạng số dài là mối nguy khi file CSV đến tay bảng tính: Excel sẽ đọc nó như một con số, làm tròn khi vượt quá mười lăm chữ số và bỏ mọi số 0 ở đầu — đó là vấn đề do bảng tính gây ra chứ không phải do việc chuyển đổi.

Khi bạn cần công cụ khác

jq là công cụ đúng khi cấu trúc cần được quyết định chứ không phải đoán: jq -r '.orders[] | [.id, .customer.name, .total] | @csv' chọn đúng các trường bạn muốn từ đúng cấp bạn muốn, đó là quyền kiểm soát mà một công cụ trải phẳng tự động không thể mang lại. Nó cũng xử lý theo luồng, nên dung lượng file không còn là vấn đề.

Với dữ liệu lồng nhau nói chung, Miller — mlr --ijson --ocsv flatten — và pandas.json_normalize của Python cho bạn quyền kiểm soát tường minh về độ sâu cần trải phẳng và cách xử lý danh sách. Còn nếu JSON thực sự mang tính phân cấp chứ không phải dạng bảng, chuyển nó sang CSV có thể là ý tưởng sai ngay từ đầu — một cơ sở dữ liệu hoặc file JSON phân tách theo dòng giữ được cấu trúc mà một cái lưới sắp sửa bỏ đi.