DeepSeek发布DeepSeek-Coder-V2，性能超GPT4-Turbo代码能力，236B参数，开源代码模型登顶全球第二

原创

努力犯错AI 2024-06-19 00:06:29 ©著作权

©著作权归作者所有：来自51CTO博客作者努力犯错AI的原创作品，请联系作者获取转载授权，否则将追究法律责任

前言

在开源代码模型领域，DeepSeek一直致力于打破闭源模型的垄断，为开发者提供更加强大、灵活的工具。继去年11月发布最强开源代码模型 DeepSeek-Coder 和今年5月发布最强开源 MoE 模型 DeepSeek-V2 后，DeepSeek 再度突破技术壁垒，发布了全新升级的 DeepSeek-Coder-V2。

Huggingface模型下载：https://huggingface.co/deepseek-ai/DeepSeek-Coder-V2-Instruct

DeepSeek发布DeepSeek-Coder-V2，性能超GPT4-Turbo代码能力，236B参数，开源代码模型登顶全球第二_代码生成

技术特点

DeepSeek-Coder-V2 沿袭了 DeepSeek-V2 的模型结构，总参数 236B，激活 21B，并在多个关键技术方面进行了提升：

海量高质量数据： DeepSeek-Coder-V2 在 DeepSeek-V2 的基础上，继续预训练了 6 万亿 tokens，其中包含 60% 的源代码、10% 的数学语料和 30% 的自然语言语料。新数据来源包括 GitHub、Common Crawl 等，涵盖了 338 种编程语言，并对代码和数学语料进行了专门的清洗和过滤，有效提升了模型的代码理解和数学推理能力。
扩展上下文长度： DeepSeek-Coder-V2 将最大上下文长度从 16K 扩展至 128K tokens，这意味着模型能够处理更长的代码片段，并支持更复杂的任务，例如大型项目代码的理解和生成。
模型对齐和强化学习： 为了提升模型的代码生成能力，DeepSeek-Coder-V2 采用了更先进的训练策略，包括指令微调和强化学习。团队利用代码编译器反馈和测试用例来收集代码领域的偏好数据，并训练了一个奖励模型来指导模型学习，确保生成的代码更加符合人类预期。
支持 Fill-In-Middle： DeepSeek-Coder-V2 支持 Fill-In-Middle (FIM) 训练，能够根据上下文内容，完成代码片段的补全，进一步提升了模型在代码补全场景中的能力。

性能表现

DeepSeek-Coder-V2 在代码生成、数学推理和通用语言理解等多个方面展现出卓越的性能：

代码生成能力： DeepSeek-Coder-V2 在 HumanEval、MBPP、LiveCodeBench 和 SWE-Bench 等代码生成和理解评测中，取得了与 GPT-4-Turbo 相媲美的成绩。例如，DeepSeek-Coder-V2 在 HumanEval 上取得了 90.2% 的准确率，在 MBPP 上取得了 76.2% 的准确率，并首次在 SWE-Bench Lite 上取得了超过 10% 的准确率。

DeepSeek发布DeepSeek-Coder-V2，性能超GPT4-Turbo代码能力，236B参数，开源代码模型登顶全球第二_数学推理_02

数学推理能力： DeepSeek-Coder-V2 在 GSM8K、MATH、AIME 2024 和 Math Odyssey 等数学推理测试中，表现突出，与 GPT-4o、Gemini 1.5 Pro 和 Claude 3 Opus 等闭源模型的成绩相当。例如，DeepSeek-Coder-V2 在 MATH 上取得了 75.7% 的准确率，在 AIME 2024 上的成绩超过了其他模型。
通用语言理解能力： DeepSeek-Coder-V2 在多个中英通用语言理解和生成测试中取得了国内第一梯队的成绩，例如在 MMLU 上取得了 79.2% 的准确率，在 Arena-Hard 上取得了 65.0 分。

DeepSeek发布DeepSeek-Coder-V2，性能超GPT4-Turbo代码能力，236B参数，开源代码模型登顶全球第二_开发者_03