列式檔案格式
Parquet是一種列式檔案格式，主要用於大數據環境中以高效存儲和處理大規模數據。它由Apache Parquet項目開發和維護，是開放的、跨平台的數據存儲格式，支持多種壓縮算法和編碼方式，如Snappy、Gzip、LZO、Delta等，可以根據數據特徵動態選擇最合適的壓縮算法。Parquet檔案的優點包括列式存儲，支持多種數據類型，高效壓縮，跨平台使用，包含元數據等。它也存在一些缺點，如寫入性能較慢，更適合批處理場景，需要一定的維護成本。
Parquet檔案格式的主要構成包括Header、Data Block和Footer。Data Block由多個Row Group（行組）組成，每個Row Group包含一批數據。Parquet檔案採用列式存儲格式，將同一列的數據存儲在一起，這種存儲方式提高了數據的局部性並減少了I/O操作的數量，從而提高了查詢性能。它還支持多種列式存儲的編碼方式，如RLE、Delta、Bit Packing等，可以進一步減少存儲空間和I/O操作的數量。
此外，Parquet檔案包含元數據，可以加快數據的讀取和解析速度，提高查詢性能。儘管Parquet檔案格式具有高效性和通用性，但它更適合於批處理場景，不太適合實時數據處理場景。