Конвертер CSV в Parquet
CSV легко создать, но запросы к нему выполняются медленно. Загрузите CSV и получите файл Apache Parquet, в котором у каждого поля есть тип столбца. Файл уже сжат и готов к загрузке в ваш инструмент аналитики.
Конвертер данных
или перетащите сюда файлы CSV, TSV, TXT … ·
Макс. 95 MB на файл· До 20 файлов· Удаляются через 30 минут
Файлы обрабатываются на наших серверах и удаляются через 30 минут.
Символ, разделяющий столбцы в CSV и текстовых файлах, — при чтении и при записи. «Автоопределение» распознаёт его во входном файле, а при записи ставит запятые.
UTF-8 подходит для любого языка. Выберите «UTF-8 с BOM», если Excel в Windows искажает при открытии CSV буквы с диакритикой, кириллицу или азиатские символы.
Для файлов Excel, ODS и Numbers: преобразовать только первый лист или все листы (по одному CSV на лист в ZIP или по одному ключу JSON на лист).
Название вкладки листа в новой таблице, до 31 символа.
«Массив объектов» использует имена столбцов как ключи в каждой строке; «Массив массивов» компактнее и хранит заголовок первым массивом.
Имя внешнего элемента, который содержит все строки; каждая строка становится элементом <row> внутри него.
Используется в операторах CREATE TABLE и INSERT. Только латинские буквы, цифры и подчёркивания.
Кавычки и типы столбцов немного различаются в разных СУБД; выберите ту, в которую будете импортировать.
Приводит ячейки с датами к одному формату. ISO (2026-10-18) надёжнее всего для баз данных и кода; «Оставить как есть» сохраняет даты в исходном виде.
Как пользоваться инструментом
- 1
Загрузите файлы CSV
Добавьте один экспорт или до 20 файлов с одинаковой структурой, каждый до 95 MB. При значении «Автоопределение» параметр Разделитель распознает запятые, точки с запятой, табуляцию и вертикальную черту.
- 2
Оставьте настройки заголовка и дат
Параметр Первая строка — заголовок превращает строку заголовков в названия столбцов. Для параметра Даты выбран формат ISO, поэтому столбцы с датами записываются в единой форме.
- 3
Конвертируйте в Parquet
Нажмите Преобразовать в Parquet и загрузите файл .parquet в pandas, DuckDB, Spark или ваше хранилище данных.
Зачем аналитики переводят CSV в Parquet
Parquet создали в 2013 году инженеры Twitter и Cloudera на основе колоночной структуры, описанной Google в статье о Dremel 2010 года, а в 2015 году он стал проектом верхнего уровня Apache. Идея проста: вместо построчного хранения таблицы, как в CSV, все значения одного столбца хранятся вместе. Запрос, которому нужны три столбца из сорока, читает только эти три, а похожие значения, лежащие рядом, сжимаются намного лучше.
Поэтому аналитики конвертируют выгрузки перед загрузкой, инженеры данных просят поставщиков присылать Parquet вместо CSV, а запросы в сервисах вроде Amazon Athena и BigQuery, которые могут тарифицировать объем просканированных данных, обходятся дешевле. В CSV нет информации о том, число 0042 или код; Parquet записывает тип каждого столбца, и следующему инструменту не приходится угадывать.
Parquet, CSV или XLSX для больших таблиц
| Parquet | CSV | XLSX | |
|---|---|---|---|
| Типы столбцов хранятся в файле | yes | no | Для каждой ячейки |
| Читает только нужные запросу столбцы | yes | no | no |
| Сжатие | yes | no | yes |
| Читается в текстовом редакторе | no | yes | no |
| Открывается в Excel двойным щелчком | no | yes | yes |
| Строк в файле | Без фиксированного лимита | Без фиксированного лимита | 1 048 576 на лист |
Что меняется при переводе CSV в Parquet
Что вы получите
- Более быстрые запросы, читающие только нужные столбцы
- Файлы меньшего размера для хранения и передачи
- Схема, которую следующий инструмент читает, а не угадывает
- Даты записаны один раз в формате ISO
Что нужно учесть
- Нельзя редактировать в таблице или текстовом редакторе
- Опечатка в числовом столбце может превратить весь столбец в текст
- Сохраните CSV, если его по-прежнему нужно открывать людям
Характеристики форматов CSV и Parquet
CSV
Значения, разделённые запятыми (CSV)
CSV — текстовый формат таблиц, в котором каждая строка файла — это строка таблицы, а столбцы разделяются запятыми. Он используется с первых лет вычислительной техники и описан в RFC 4180, хотя во многих вариантах применяются точка с запятой или табуляция и разные кодировки текста. Почти любая электронная таблица, база данных и аналитический инструмент умеют импортировать и экспортировать CSV, поэтому это стандартный формат для переноса данных между системами. CSV хранит только значения — без формул, форматирования, нескольких листов и типов данных.
- Сжатие
- –
- Прозрачность
- –
- Анимация
- –
- Год появления
- –
PARQUET
Формат Apache Parquet
Parquet — открытый колоночный формат хранения данных, созданный Twitter и Cloudera в 2013 году и поддерживаемый Apache Software Foundation. Он хранит данные по столбцам с сильным сжатием и типизированными схемами, поэтому аналитические инструменты читают только нужные столбцы. Это стандарт для озёр данных и таких инструментов, как Spark, pandas, DuckDB, BigQuery и Snowflake. Файлы Parquet двоичные: их нельзя открыть в текстовом редакторе или обычной программе для таблиц.
- Сжатие
- Без потерь
- Прозрачность
- –
- Анимация
- –
- Год появления
- 2013 · Apache Software Foundation (from Twitter and Cloudera)
CSV превращают в Parquet, когда файл перестает быть тем, что открывают люди, и становится тем, что сканируют запросы: ежедневная выгрузка в озеро данных, набор данных для аналитиков или логи, которые фильтруют по нескольким столбцам.
Приведите CSV в порядок до конвертации, а не после: исправьте названия заголовков, удалите итоговые строки внизу и убедитесь, что в каждом столбце один вид значений. Если источник — резервная копия базы данных, а не CSV, начните с SQL в CSV. Все остальные направления, от JSON до SQL, собраны на странице конвертера данных.
Вопросы о конвертации CSV в Parquet
Насколько файл Parquet будет меньше исходного CSV?
Это зависит от данных. Столбцы с множеством повторяющихся значений, например коды стран, статусы или даты, сжимаются очень хорошо, а столбцы с уникальными ID или произвольным текстом уменьшаются меньше. Файл Parquet обычно составляет лишь часть размера CSV, но называть точное соотношение не имеет смысла.
Какие инструменты открывают полученный файл .parquet?
pandas через read_parquet, Polars, DuckDB с обычным SELECT по имени файла, Apache Spark, а также облачные хранилища данных, такие как BigQuery, Snowflake, Amazon Athena и Redshift Spectrum. Большинство из них также умеют читать папку с файлами Parquet с одинаковыми столбцами как одну таблицу.
Как определяются типы столбцов?
По значениям в каждом столбце: целые числа, десятичные дроби, даты и логические значения получают соответствующие типы, а столбец со смешанным содержимым остается текстовым. После конвертации проверьте коды с ведущими нулями, например почтовые индексы вроде 02134, и оставьте их текстом, если ноль нужно сохранить.
Можно ли конвертировать несколько CSV-файлов с одинаковой структурой?
Да, до 20 за один раз, и каждый станет отдельным файлом .parquet. Если положить их в одну папку, DuckDB или Spark смогут прочитать их вместе по маске, например sales_*.parquet.
Как посмотреть содержимое файла Parquet без программирования?
Excel и Google Sheets не открывают .parquet двойным щелчком. Верните данные в строки с помощью Parquet в CSV или используйте командную строку DuckDB, если вам удобно написать один SQL-запрос.