DeepSeek Coder：当大型语言模型遇到编程时-代码智能的兴起

大型语言模型的快速发展已彻底革新了软件开发中的代码智能。然而，主要依赖闭源模型限制 了广泛的研究与开发。为解决这一问题，我们推出了DeepSeek-Coder系列开源代码模型，其 规模从13亿到330亿不等，并从2万亿个标记中从头开始训练。这些模型预先在高质量的项目 级代码语料库上进行训练，并采用16K窗口的填空任务来增强代码生成和填补。我们的广泛评 估表明，DeepSeek-Coder不仅在多个基准测试中实现了开源代码模型的最佳性能，还超越了 现有的闭源模型如Codex和GPT-3.5。此外，DeepSeek-Coder模型处于宽松的许可之下，允 许同时进行研究和无限制的商业使用。