×
img

华福证券:计算机行业定期报告:Deepseek发布全新注意力机制NSA

发布者:wx****da
2025-02-23
844 KB 6 页
互联网 华福证券
文件列表:
华福证券:计算机行业定期报告:Deepseek发布全新注意力机制NSA.pdf
下载文档
投资要点: Deepseek发布全新注意力机制NSA NSA(硬件优化稀疏注意力机制)由Deepseek、北京大学和华盛顿大学联合提出,旨在解决传统注意力机制在长上下文、多轮对话等场景下的性能瓶颈。其创新性在于通过**三并行分支架构**(Token压缩、Token选择、滑动窗口)结合可学习门控机制,动态平衡全局与局部注意力:压缩分支粗粒度捕捉全局信息,选择分支筛选关键稀疏单元以减少计算量,滑动窗口则保留局部语法与语义连贯性;硬件层面基于Triton框架优化内存访问,通过组共享KV数据、高带宽HBM与片上SRAM协同计算,显著提升稀疏计算效率。该技术实现了推理速度与精度的平衡,适用于大语言模型加速、长文档理解等需要高效长程依赖建模的场景。 本周AI数据更新: 海外应用看,20250214-20250220期间,Chatgpt下载量逐步回升,Gemini、Perplexity和Claude整体保持稳定。 国内应用看,20250214-20250220期间,Deepseek下载量稍有回落,Kimi、通义、星火、文心一言整体保持稳定,腾讯元宝接入Deepseek后下载量显著提升,现已超过30万

加载中...

已阅读到文档的结尾了

下载文档

网友评论>

开通智库会员享超值特权
专享文档
免费下载
免广告
更多特权
立即开通

发布机构

更多>>