凤凰网科技讯 7 月 28 日，月之暗面（Moonshot AI）昨日深夜宣布开源 Kimi K3 模型权重、发布技术报告，并同步开放 MoonEP、FlashKDA、AgentEnv 三项关键基础设施（Infra）技术。此次开放涵盖模型、训练方法以及底层训练系统，开发者可下载模型进行部署和二次开发，具体使用范围需遵循 Kimi K3 许可证。
官方介绍显示，Kimi K3 采用混合专家（MoE）架构，总参数规模达到 2.8 万亿，具备原生视觉理解能力，并支持 100 万 Token 上下文窗口。相较上一代 Kimi K2.5，Kimi K3 参数规模提升约 3 倍。月之暗面表示股票投资，在算力资源有限的情况下，借助 Kimi Delta Attention、Attention Residuals 以及 MoonEP 等技术，其模型规模化效率提升约 2.5 倍。
与模型权重同步发布的还有 Kimi K3 技术报告。根据公开内容，报告披露了模型训练与架构设计的多项技术细节，包括 KDA 与 Gated MLA 混合注意力结构、Stable LatentMoE 专家路由机制、MoonViT-V2 视觉编码器训练方案以及模型后训练和评测方法。其中，模型采用 896 个路由专家、每个 Token 激活 16 个专家的 MoE 设计，并覆盖通用推理、Agent 及编程 Agent 等多个能力方向的训练与评估。
除模型本身外，月之暗面还宣布开源支撑 Kimi K3 训练的关键基础设施技术。其中，MoonEP 是一套面向大规模 MoE 模型的高性能专家并行通信库；FlashKDA 是 Kimi Delta Attention 对应的高性能计算算子，官方数据显示，其在英伟达 H20 上的 Prefill 速度相比 flash-linear-attention 基线提升 1.72 至 2.22 倍；AgentEnv 则是月之暗面与 KVCache.ai 合作开发的 Agent 沙箱系统，可支持快速快照、恢复及 Fork 等能力，用于大规模 Agent 训练环境。
元股证券:ygzq.hk
炒股杠杆公司月之暗面表示，此次开放旨在推动开放权重模型生态的发展，希望通过开放模型、训练方法及底层基础设施，降低模型部署和开发门槛，为 AI 社区及相关研究提供更多可复用的技术资源。
元股证券APP-综合服务平台提示：本文来自互联网，不代表本网站观点。
