Chuyển CSV sang Parquet

CSV là định dạng văn bản thuần cho bảng, trong đó mỗi dòng là một hàng và dấu phẩy phân tách các cột. Định dạng đã được dùng từ những ngày đầu của ngành máy tính và được mô tả trong RFC 4180, dù nhiều biến thể dùng dấu chấm phẩy hoặc tab và các bảng mã văn bản khác nhau. Gần như mọi bảng tính, cơ sở dữ liệu và công cụ phân tích đều nhập và xuất được CSV, nên đây là định dạng mặc định để chuyển dữ liệu giữa các hệ thống. CSV chỉ lưu giá trị, không có công thức, định dạng trình bày, nhiều trang tính hay kiểu dữ liệu.

Nén

–

Độ trong suốt

–

Ảnh động

–

Ra mắt

–

Parquet là định dạng lưu trữ dạng cột mã nguồn mở do Twitter và Cloudera tạo ra năm 2013, hiện do Apache Software Foundation duy trì. Định dạng lưu dữ liệu theo cột với khả năng nén mạnh và lược đồ có kiểu dữ liệu, nên các công cụ phân tích chỉ cần đọc những cột cần thiết. Đây là chuẩn phổ biến trong data lake và các công cụ như Spark, pandas, DuckDB, BigQuery và Snowflake. Tệp Parquet ở dạng nhị phân và không thể mở bằng trình soạn thảo văn bản hay ứng dụng bảng tính thông thường.

Nén

Không mất dữ liệu

Độ trong suốt

–

Ảnh động

–

Ra mắt

2013 · Apache Software Foundation (from Twitter and Cloudera)