大数据湖项目建设方案

 大数据湖项目 建 设 方 案 2022年08月 目 录 1. 项目综述 6 1.1. 项目背景 6 1.2. 项目目标 7 1.3. 项目建设路线 8 2 需求分析 8 2.1功能需求 8 2.1.1 统一数据接入 10 2.1.2 数据迁移 11 2.1.3 数据范围与ETL 12 2.1.4 报表平台 13 2.1.5 安全管理 15 2.1.6 数据治理 16 2.2非功能需求 17 2.2.1运维保障需求 17 2.2.2可用性需求 17 2.2.3可靠性需求 18 2.2.4性能需求 18 2.3需求总结 19 3 整体解决方案 19 3.1 数据湖整体方案 19 3.1.1硬件部署方式 19 3.1.2基于CDH的数据湖软件部署 21 3.1.3数据ETL及数据接口开发方案 23 3.1.4沙盒管理 29 3.1.5多租户管理 30 3.2报表平台整体方案 31 3.2.1系统设计原则 31 3.2.2数据分析场景 32 3.2.3业务需求建议 35 3.2.4系统逻辑架构 49 3.2.5技术方案特点 50 3.2.6其它特性 53 3.2.7 报表平台具体实施步骤