陕西农信（闫显）：2025年构建多技术融合的湖仓一体化平台，打造银行数据智核新引擎报告

面对数据量及数据应用需求的井喷式增长，传统架构的数据仓库和大数据平台存在数据孤岛、处理效率低、流转时间长等问题，难以敏捷高效地发挥数据价值。为解决这些挑战，陕西农信启动了全栈信创的湖仓一体化智能数据平台建设。陕西省农村信用社联合社科技部技术专家闫显以“构建多技术融合的湖仓一体化平台，打造银行数据智核新引擎”为主题，分享了该项目的建设实践。闫显重点从“项目建设目标、技术架构、功能架构及数据流向”等方面介绍了项目方案，并总结了三大创新点：一是多集群部署架构，通过独立配置管理各集群资源，降低集群间耦合关系，便于根据业务需求灵活调整资源分配，满足多样化的数据处理需求和业务场景；二是数据层级设置，根据数据的重要性、使用频率和处理复杂度，整合数据源与数据仓库的组件技术特点，规划数据层级设置，利用Hudi特性在湖内以时序形式存储数据，降低存储空间并提升数据处理能力；三是DataOps + MLOps提升研发及数智应用效能：基于DataOps工具建立数据研发运营体系，提升团队协作效率和整体效能，同时DataOps与MLOps的无缝对接确保模型能够获取最新数据进行训练和推理，为AI技术赋能金融业务