UltKit

ParquetをCSVに変換

データ分析環境をインストールしなくても.parquetファイルを読めます。内部に保存された列をプレーンなCSVの行として書き出すので、表計算ソフトやBIツールですぐに開け、同僚にもそのまま渡せます。

データ変換

またはCSV, TSV, TXT … ファイルをここにドロップ ·

1ファイルあたり最大95 MB· 最大20ファイルまで· 30分後に削除

出力

ファイルは当社のサーバーで処理され、30分後に削除されます。

このツールの使い方

  1. 1

    Parquetファイルをアップロード

    .parquetファイルを1つ、または同じデータセットのパートファイルを最大20個まで追加します。1ファイルあたり95 MBまで対応しています。

  2. 2

    日付と文字コードを確認

    日付はISO形式に設定されているので、タイムスタンプは数値ではなく2026-10-18のように表示されます。詳細設定の区切り文字でセミコロンを選ぶとヨーロッパ版Excel向けになります。文字コードではBOM付きUTF-8も選べます。

  3. 3

    CSVに変換

    CSVに変換を押してダウンロードします。ファイルはスプレッドシートで開くか、CSVを受け付ける任意のツールに読み込んでください。

ParquetをCSVで必要とするのはどんな人か

Parquetは2013年にTwitterとClouderaの共同プロジェクトとして始まりました。GoogleのDremel論文にあるレコード分解の考え方に基づいており、2015年にApacheのトップレベルプロジェクトになりました。現在ではデータレイクの標準的な保存形式です。BigQueryやSnowflakeがこの形式でエクスポートし、Sparkは既定でこれを書き出し、Hugging Face Hubは公開データセットを自動的にこの形式へ変換します。

エンジニアには便利ですが、それ以外の人には扱いにくい形式です。.parquetファイルを渡されたプロダクトマネージャー、データセットをダウンロードした研究者、倉庫の抽出データを受け取った経理担当者は、たいていそれを開くツールを持っていません。CSVはどのスプレッドシートやインポート機能でも読める最大公約数の形式です。受け取る側が書式付きのブックを好む場合は、CSVをXLSXに変換でさらに変換してください。

ParquetとCSVの違い:列単位の保存とテキストの行

変換元

Parquet

列ごとに格納されるバイナリ形式で、スキーマはファイルのフッターに保存されます。

  • 型付きの値:int64、decimal、timestamp、boolean
  • ネストした構造体とリスト
  • 列ごとに圧縮され、必要な列だけ読み込める
おすすめ: データウェアハウス、Spark、pandas、DuckDB向け
出力

CSV

プレーンテキストで、1レコードが1行、値はRFC 4180の定めるとおりカンマで区切られます。

  • すべての値がテキスト
  • フラットで、1セルに1つの値
  • どのスプレッドシートやエディタでも開ける
おすすめ: 人が読む用途、スプレッドシート、インポート画面向け
from ↓ · to →CSVXLSXJSONParquet
ParquetParquet to CSV: yesParquet to XLSX: yesParquet to JSON: yes– Parquet to Parquet: no
CSV– CSV to CSV: noCSV to XLSX: yesCSV to JSON: yesCSV to Parquet: yes
JSONJSON to CSV: yesJSON to XLSX: yes– JSON to JSON: noJSON to Parquet: yes
supported not offered記載の組み合わせはすべてデータコンバーターで処理されます。ダッシュは入力と出力が同じ形式であることを示します。

ParquetファイルをCSVにすると何が変わるか

最初に失われるのは型情報です。decimal(18,2)の金額、int64のID、UTCのタイムスタンプはすべて文字になり、CSVを開く人がそれをどう読み直すかを決めます。たとえばExcelは有効桁数が15桁までしか表示されないため、ウェアハウス由来の19桁のIDは、ダブルクリックで開かずテキストとしてインポートしてください。nullと空文字列の違いも、どちらも空のフィールドとして書き出されるため失われます。

次にサイズの問題があります。Parquetのファイルが小さいのは列指向の圧縮のおかげですが、プレーンテキストにはそれがないため、CSVは大きくなります。Excelの1シートは1,048,576行までで、大きなテーブルは簡単にそれを超えます。スプレッドシートを使う相手にファイルを送る前に、行数を確認してください。SQLやJSONなどその他の変換先は、データコンバーターのページをご覧ください。

Apache ParquetとCSVの形式の基本情報

PARQUET

Apache Parquet

Parquet は、2013年に Twitter と Cloudera が作成し、Apache Software Foundation が管理しているオープンソースの列指向ストレージ形式です。データを列ごとに、強力な圧縮と型付きスキーマで保存するため、分析ツールは必要な列だけを読み込めます。データレイクや、Spark、pandas、DuckDB、BigQuery、Snowflake などのツールで標準的に使われています。Parquet ファイルはバイナリのため、テキストエディタや通常の表計算アプリでは開けません。

圧縮方式
可逆
透過
–
アニメーション
–
登場時期
2013 · Apache Software Foundation (from Twitter and Cloudera)
PARQUET 変換

CSV

CSV(カンマ区切り値)

CSV は表形式のデータをプレーンテキストで表す形式で、1行が1つの行にあたり、列はカンマで区切ります。コンピューターの初期から使われており、RFC 4180 に記述がありますが、セミコロンやタブで区切る変種や、異なる文字コードを使うものも多くあります。ほとんどの表計算ソフト、データベース、分析ツールで読み込みと書き出しができるため、システム間でデータをやり取りする際の標準的な形式です。CSV に保存されるのは値だけで、数式、書式、複数のシート、データ型は含まれません。

圧縮方式
–
透過
–
アニメーション
–
登場時期
–
CSV 変換

ParquetをCSVにするのは、データがエンジニアの手を離れるときです。BigQueryからのエクスポート、Hugging Faceのデータセット、データレイクのテーブルを、アナリストや経理チーム、行形式のテキストしか読めないツールに渡す必要があります。

ParquetからCSVへの変換に関するよくある質問

PythonなしでParquetファイルを開くには?

ここで変換してCSVを開いてください。Excel、Numbers、Googleスプレッドシートは.parquetをダブルクリックでは開けません。pandas、Spark、DuckDBのコマンドラインといった一般的な代替手段も、コードのインストールや実行に慣れていることが前提です。

CSVがParquetファイルよりずっと大きくなるのはなぜですか?

Parquetは列ごとにデータをまとめ、繰り返しの値は辞書で1回だけ符号化し、その結果を通常SnappyやZstandardで圧縮して保存します。CSVはすべての値を毎行そのままテキストで書き出します。CSVが元のParquetの数倍のサイズになるのはよくあることなので、ディスクの空き容量を確保し、Excelで開く前に行数を確認してください。

ネストされたstruct列やlist列はどうなりますか?

構造体(struct)は、address.cityのようにドットでつないだ名前の追加列に展開されます。リストはJSON形式のテキストとして1つのセルに入ります。CSVの行ではレコードごとにセル数を変えられないためです。

Sparkジョブがpartファイルのフォルダを出力しました。どれをアップロードすればよいですか?

すべて対応しています。SparkやHiveなどのエンジンは、1つのデータセットをpart-00000.parquetのような名前のファイルに分割します。それぞれ同じスキーマを持つ完全なParquetファイルです。最大20個をまとめてアップロードすると、パートごとに1つのCSVが作成されるので、後で結合できます。

編集したCSVをParquetに戻せますか?

はい、CSVをParquetに変換で可能です。列の型はテキストから再度推定されます。先頭にゼロが付くIDや小数の金額が、パイプラインの想定する型で戻っているか確認してください。