CSV Parquet 변환기
CSV는 만들기 쉽지만 조회는 느립니다. CSV를 올리면 필드마다 열 타입이 정해지고 압축된 Apache Parquet 파일을 받아, 쓰는 분석 도구에 바로 불러올 수 있습니다.
데이터 변환
또는 CSV, TSV, TXT … 파일을 여기에 끌어다 놓으세요 ·
파일당 최대 95 MB· 최대 20개 파일· 30분 뒤 삭제
파일은 UltKit 서버에서 처리되며 30분 뒤 삭제됩니다.
CSV와 텍스트 파일에서 열을 나누는 문자로, 읽기와 쓰기에 모두 쓰입니다. 자동은 입력에서 감지하고 쉼표로 씁니다.
UTF-8은 모든 언어에 쓸 수 있습니다. Windows의 Excel에서 CSV를 열 때 악센트 문자나 아시아 문자가 깨지면 BOM 포함 UTF-8을 선택하십시오.
Excel, ODS, Numbers 입력은 첫 시트만 변환하거나 모든 시트를 변환합니다(ZIP 안에 시트마다 CSV 하나, 또는 시트마다 JSON 키 하나).
새 스프레드시트의 시트 탭 이름으로, 최대 31자입니다.
객체 배열은 모든 행에 열 이름을 키로 쓰고, 배열의 배열은 더 간결하며 머리글을 첫 배열로 유지합니다.
모든 행을 감싸는 바깥 요소의 이름이며, 각 행은 그 안의 <row>가 됩니다.
CREATE TABLE과 INSERT 문에 쓰입니다. 영문자, 숫자, 밑줄만 사용할 수 있습니다.
따옴표 처리와 열 유형은 데이터베이스마다 조금씩 다릅니다. 가져올 데이터베이스를 고르십시오.
날짜 셀을 한 가지 형식으로 다시 씁니다. 데이터베이스와 코드에는 ISO (2026-10-18)가 가장 안전하며, 그대로 유지는 원본에 보이는 대로 둡니다.
사용 방법
- 1
CSV 파일 업로드
내보낸 파일 하나 또는 구조가 같은 파일을 최대 20개, 파일당 95 MB까지 추가하세요. 자동 감지로 둔 구분자가 쉼표, 세미콜론, 탭, 파이프를 처리합니다.
- 2
머리글과 날짜 설정 유지
첫 행을 머리글로 사용이 머리글 줄을 열 이름으로 바꿉니다. 날짜는 ISO로 되어 있어 날짜 열이 일관된 한 가지 형식으로 기록됩니다.
- 3
Parquet로 변환
Parquet로 변환을 누르고 .parquet 파일을 pandas, DuckDB, Spark 또는 데이터 웨어하우스에 불러오세요.
데이터 팀이 CSV를 Parquet로 변환하는 이유
Parquet는 2013년 Twitter와 Cloudera의 엔지니어들이 Google이 2010년 Dremel 논문에서 설명한 컬럼형 구조를 바탕으로 만들었고, 2015년 Apache 최상위 프로젝트가 되었습니다. 원리는 간단합니다. CSV처럼 테이블을 행 단위로 저장하는 대신 한 열의 값을 모두 함께 저장합니다. 40개 열 중 3개만 필요한 쿼리는 그 3개만 읽고, 나란히 놓인 비슷한 값은 훨씬 잘 압축됩니다.
그래서 분석가는 불러오기 전에 내보낸 파일을 변환하고, 데이터 엔지니어는 공급업체에 CSV 대신 Parquet를 요청하며, 스캔한 데이터 양으로 요금을 매길 수 있는 Amazon Athena와 BigQuery 같은 서비스는 조회 비용이 줄어듭니다. 또 CSV는 0042가 숫자인지 코드인지 알지 못하지만, Parquet는 열마다 타입을 기록하므로 다음 도구가 추측할 필요가 없습니다.
큰 테이블에서 Parquet, CSV, XLSX 비교
| Parquet | CSV | XLSX | |
|---|---|---|---|
| 파일에 열 타입 저장 | yes | no | 셀 단위 |
| 쿼리에 필요한 열만 읽음 | yes | no | no |
| 압축됨 | yes | no | yes |
| 텍스트 편집기로 읽을 수 있음 | no | yes | no |
| Excel에서 더블클릭으로 열림 | no | yes | yes |
| 파일당 행 수 | 고정 한도 없음 | 고정 한도 없음 | 시트당 1,048,576행 |
CSV가 Parquet가 되면 달라지는 것
얻는 것
- 필요한 열만 읽는 더 빠른 쿼리
- 저장하고 옮기기 쉬운 더 작은 파일
- 다음 도구가 추측하지 않고 읽는 스키마
- ISO 형식으로 한 번에 정리된 날짜
유의할 점
- 스프레드시트나 텍스트 편집기로 편집 불가
- 숫자 열의 오타 하나로 열 전체가 텍스트가 될 수 있음
- 사람이 계속 열어야 한다면 CSV도 보관
CSV와 Parquet 형식 정보
CSV
쉼표로 구분된 값(CSV)
CSV는 한 줄이 한 행이 되고 쉼표로 열을 구분하는 표 형식의 일반 텍스트 파일입니다. 컴퓨터 초창기부터 쓰였고 RFC 4180에 설명되어 있지만, 세미콜론이나 탭을 쓰거나 텍스트 인코딩이 다른 변형도 많습니다. 거의 모든 스프레드시트, 데이터베이스, 분석 도구가 CSV를 가져오고 내보낼 수 있어 시스템 간 데이터 이동의 기본 형식입니다. CSV에는 값만 저장되며 수식, 서식, 여러 시트, 데이터 유형은 담기지 않습니다.
- 압축 방식
- –
- 투명도
- –
- 애니메이션
- –
- 도입 연도
- –
PARQUET
Apache Parquet 데이터 파일
Parquet은 2013년 Twitter와 Cloudera가 만들고 Apache Software Foundation이 관리하는 오픈 소스 열 지향 저장 형식입니다. 데이터를 열 단위로 강력하게 압축하고 타입이 지정된 스키마와 함께 저장하므로, 분석 도구가 필요한 열만 읽을 수 있습니다. 데이터 레이크와 Spark, pandas, DuckDB, BigQuery, Snowflake 같은 도구의 표준입니다. Parquet 파일은 바이너리라서 텍스트 편집기나 일반 스프레드시트 앱으로는 열 수 없습니다.
- 압축 방식
- 무손실
- 투명도
- –
- 애니메이션
- –
- 도입 연도
- 2013 · Apache Software Foundation (from Twitter and Cloudera)
파일이 사람이 여는 것에서 쿼리가 훑는 것으로 바뀔 때 CSV를 Parquet로 바꿉니다. 데이터 레이크에 매일 쌓이는 내보내기 파일, 분석가와 공유하는 데이터 세트, 한 번에 몇 개 열로만 필터링하는 로그 같은 경우입니다.
CSV는 변환 후가 아니라 변환 전에 정리하세요. 머리글 이름을 고치고, 맨 아래 요약 줄을 지우고, 각 열에 한 종류의 값만 들어 있는지 확인하세요. 원본이 CSV가 아니라 데이터베이스 백업이라면 SQL CSV 변환에서 시작하세요. JSON부터 SQL까지 다른 모든 출력 형식은 데이터 변환 페이지에 있습니다.
CSV Parquet 변환 자주 묻는 질문
Parquet 파일은 CSV보다 얼마나 작아집니까?
데이터에 따라 다릅니다. 국가 코드, 상태, 날짜처럼 반복되는 값이 많은 열은 아주 잘 압축되고, 고유 ID나 자유 텍스트 열은 덜 줄어듭니다. Parquet 파일은 보통 CSV 용량의 몇 분의 1이지만, 장담할 만한 고정 비율은 없습니다.
변환한 .parquet 파일은 어떤 도구에서 읽힙니까?
read_parquet를 쓰는 pandas, Polars, 파일 이름에 SELECT만 하면 되는 DuckDB, Apache Spark, 그리고 BigQuery, Snowflake, Amazon Athena, Redshift Spectrum 같은 클라우드 웨어하우스입니다. 대부분은 열 구성이 같은 Parquet 파일 폴더를 하나의 테이블처럼 조회할 수도 있습니다.
열 타입은 어떻게 정해집니까?
각 열의 값으로 정합니다. 정수, 소수, 날짜, 참·거짓 값은 그에 맞는 타입을 받고, 내용이 섞인 열은 텍스트로 남습니다. 02134 같은 우편번호처럼 앞자리가 0인 코드는 변환 후 확인하고, 0을 유지해야 한다면 텍스트로 두세요.
구조가 같은 CSV 파일 여러 개를 변환할 수 있습니까?
네, 한 번에 최대 20개까지 가능하며 각각 별도의 .parquet 파일이 됩니다. 한 폴더에 모아 두면 DuckDB나 Spark가 sales_*.parquet 같은 와일드카드로 함께 읽을 수 있습니다.
코드 없이 Parquet 파일 내용을 보려면 어떻게 합니까?
Excel과 Google Sheets는 .parquet를 더블클릭으로 열지 못합니다. Parquet CSV 변환으로 다시 행 데이터로 바꾸거나, SQL 쿼리 하나가 익숙하다면 DuckDB 명령줄을 쓰세요.