列指向のデータストレージ形式、Apache Parquetについてもう少しだけ詳しく調べてみた
オープンソースの列指向のデータストレージ形式 Apache Parquetについて少しだけ詳しく調べてみた。AWS Athena（SQLを使用したS3でのデータクエリ）でCSVとParquetとのRun Time、Scan量の違いを比較してScan量が抑えられか検証した。
タグ: SQL
AWS Athenaで列試行のデータストレージ形式Parquetのデータを扱ってみた
AWS s3上のファイルに対してSQLを発行できるAWSのサービスAthenaを試した。Athenaはスキャン料に応じた従量制の為、列試行のデータストレージParquet形式のファイルとCSVとのRun Time 、スキャン量の比較を行った。列を指定すればParquetのスキャン量が少ないはず
最近のコメント