信达证券：电子行业事项点评：DeepSeek发布NSA，马斯克旗下XAI发布GroK3

本期内容提要: DeepSeek发布NSA，创新性降低成本的同时保障了模型性能。人工智能发展高度依赖海量数据和算力，DeepSeek提出神经缩放增强（NeuralScalingAugmentation,NSA）技术，可通数据生成和模型优化的方法，为突破模型瓶颈提供全新的解决方案。NSA引入了两个核心创新点：（1）硬件对齐系统：优化块级稀疏注意力，使其充分利用TensorCore并优化内存访问，从而实现平衡的算术强度。（2）训练感知设计：通过高效算法和反向传播运算符实现稳定的端到端训练，使NSA能够同时支持高效推理与完整训练流程。在性能方面，尽管NSA具有稀疏性，但在一般基准测试上NSA与全注意力基线表现相当。在长文本评估中，NSA在64k上下文中的「大海捞针」测试中，在所有位置上都实现了完美的检索准确率，这表明其长文本处理方面具有良好的优势。在速度方面，随着上下文长度的增加，NSA实现了越来越大的加速，在64k上下文长度下实现了9.0倍的前向加速和6.0倍的反向加速。相比之下，随着解码长度的增加，NSA在延迟方面表现出显著的减少，在64k上下文长度下实现了高达11.6倍的加速。 马斯克