360数字安全：2024年大模型安全实践报告——真实漏洞视角下的全面探讨

近年来，人工智能（AI）正以前所未有的速度发展，在各行各业中扮演着越 来越重要的角色。大模型作为 AI 中的重要一环，其能力随着平台算力的提升、 训练数据量的积累、深度学习算法的突破，得到进一步的提升，并逐渐在部分专 业领域上崭露头角。与此同时，以大模型为核心涌现的大量技术应用，也在计算 机安全领域带来了诸多新的风险和挑战。 本文对大模型在软件设施和具体应用场景落地中的安全问题进行多方面探 讨和研究，涵盖了模型层安全、框架层安全、应用层安全。在研究过程中，我们 借助 360 安全大模型代码分析能力，对多个开源项目进行代码梳理和风险评估， 结合分析报告，快速审计并发现了近 40 个大模型相关安全漏洞，影响范围覆盖 llama.cpp、Dify 等知名模型服务框架，以及 Intel 等国际厂商开发的多款开源产 品。这些漏洞中，既存在二进制内存安全、Web 安全等经典漏洞类型，又包含由 大模型自身特性引入的综合性问题。