Alluxio：2025年中间层方案：实现PB级数据湖Parquet文件查询千倍加速报告

在 AWS S3 等云对象存储上以 Parquet 格式存储数据已成为主流选择，不仅能用于大规模数据湖场景，还可作为轻量级特征库支撑训练推理，或充当检索增强生成（RAG）的文档存储。然而，直接从 S3 查询 PB 级至 EB 级数据湖仍然存在严重的性能瓶颈，查询延迟通常高达数百毫秒至数秒。

本文介绍如何利用 Alluxio 在超大规模数据湖上构建高性能缓存加速层，实现对 Parquet 文件的查询优化。无需专用硬件、无需修改数据格式或访问对象的URL路径、无需迁移数据，Alluxio 即可实现与 AWS S3 Express One Zone 相当的亚毫秒级首字节响应时间（TTFB）。此外，其吞吐量可随集群规模线性扩展，中型部署（约 50 节点）即可实现每秒 100 万次查询，达到单账户 S3 Express 吞吐量的 50 倍，且无延迟劣化。