从训练和推理效率的角度出发，Doubao-1.5-pro 使用稀疏 MoE 架构。在预训练阶段，仅用较小参数激活的 MoE 模型，性能即可超过 Llama3.1-405B 等超大稠密预训练模型。团队通过对稀疏度 Scaling Law 的研究，确定了性能和效率比较平衡的稀疏比例，并根据 MoE Scaling Law 确定了小参数量激活的模型即可达到世界一流模型的性能。

MoE 模型的性能通常可以用表现相同的稠密模型的总参数量和 MoE 模型的激活参数量的比值来确定，比如 IBM 的 Granite 系列模型中，800M 激活的 MoE 模型性能可以接近 2B 总参数的稠密模型，性能比值大约在 2.5 倍（2000M/800M）。此前，业界在这一性能杠杆上的普遍水平为不到 3 倍。团队通过模型结构和训练算法优化，在完全相同的部分训练数据（9T tokens）对比验证下，用激活参数仅为稠密模型参数量 1/7 的 MoE 模型，超过了稠密模型的性能，将性能杠杆提升至 7 倍。

在预训练模型基础上，算法团队还设计了一系列模型参数动态调整算法。可以基于具体应用对模型性能的需求，从模型深度、宽度、MoE 专家数、激活专家数、隐藏 token 推理等不同维度，对模型参数进行扩增和缩小，达到模型能力和推理成本的最优平衡。同时，较小的预训练模型提高了团队迭代开发的效率，可以并发支持多个产品线。

Doubao-1.5-pro 是一个高度稀疏的 MoE 模型，在 Prefill/Decode 与 Attention/FFN 构成的四个计算象限中，表现出显著不同的计算与访存特征。针对四个不同象限，我们采用异构硬件结合不同的低精度优化策略，在确保低延迟的同时大幅提升吞吐量，在降低总成本的同时兼顾 TTFT 和 TPOT 的最优化目标。

Prefill 阶段，通信和访存瓶颈不明显，但容易达到计算瓶颈。考虑到 LLM 单向注意力的特点，我们在多种计算访存比高的设备上做 Chunk-PP Prefill Serving，使线上系统 Tensor Core 的利用率接近 60%。

Decode 阶段，计算瓶颈不明显，但对通信和访存能力要求比较高。我们采用计算访存比较低的设备 Serving 来换取更高的 ROI，同时，采用极低成本的 Sampling 采样以及 Speculative Decoding 策略，降低 TPOT 指标。

整体来看，在 PD 分离的 Serving 系统上，我们实现了以下优化：

此外，凭借自研服务器集群方案，灵活支持低成本芯片，硬件成本比行业方案大幅度降低。我们还通过定制化网卡和自主研发的网络协议，显著优化了小包通信的效率。在算子层面，我们实现了计算与通信的高效重叠（Overlap），从而保证了多机分布式推理的稳定性和高效性。

在 PostTraining 阶段，我们精心构建了一套高度自主的数据生产体系，该体系通过高效标注团队与模型自提升技术的深度融合，持续且精准地优化数据质量，严格遵循内部标准，坚持不走捷径，不使用任何其他模型的数据，确保数据来源的独立性和可靠性。

SFT 阶段，开发了一套算法驱动的训练数据优化系统，涵盖训练数据多样性优化以及精确人题匹配功能，并结合模型自演进（Self-evolve）技术，提升数据标注的多样性和难度，形成了模型性能提升的良性循环。

Reward Model 部分，我们建立了包含 prompt 分布优化、response 筛选、多轮迭代和 active learning 的完整数据生产 pipeline。通过融合同等规模的合成与挖掘数据，有效规避了数据冲突和 pattern hacking 问题；设计了多阶段 Reward Model 训练框架，实现了模型在各类数据分布上的稳定判断能力；基于梯度筛选和迭代过滤技术，用 25% 的数据达到近似全量的训练效果，提高迭代效率；实现了 Verifier 和 Reward Model 的深度融合，构建了统一的 Reward 框架，实现了模型在数学、编程、知识、对话等多维度能力的均衡提升；提出了不同于传统判别式 RM 的生成式 RM 建模方法，在 OOD 泛化性能和 reward hacking 防御上取得显著提升。

RL 阶段，基于 veRL 打造了高并行化的多角色训练推理一体框架，兼容不同类型的数据和奖励方式；通过自适应数据分布调节机制，解决了多任务训练中的冲突问题；攻克了价值函数训练难点，实现 token-wise 稳定建模，收敛速度提升 4 倍，在高难度任务上的性能提升超过 10 个绝对点；通过对比学习方法，有效提升了 LLM 的表现并显著缓解了 reward hacking 问题。在数据、算法、模型层面全面实现了 Scaling，完成算力到智力的有效转换。

此外，依托字节在推荐、搜索和广告领域的 AB Test 经验，研发了基于用户反馈的高效 PostTraining 全流程，基于豆包的大规模用户反馈，我们构建了从问题发现、数据挖掘、人机结合标注到快速迭代的闭环优化系统，通过用户数据飞轮持续提升模型的实际使用体验。

视觉方面，相比于上一版本，Doubao-1.5-pro 在多模态数据合成、动态分辨率、多模态对齐、混合训练上进行了全面的技术提升，进一步增强了模型在视觉推理、文字文档识别、细粒度信息理解、指令遵循等方面的能力，并让模型的回复模式变得更加精简、友好。在同一模型中融入强大的视觉理解能力，使模型可以同时理解虚拟和现实世界的各类视觉信号，更好地辅助人类决策。

Doubao-1.5-pro 的视觉推理能力表现优越，在各类评测基准上均取得了优异表现：

在语音多模态上，我们提出了新的 Speech2Speech 的端到端框架，不仅通过原生方法将语音和文本模态进行深度融合，同时还实现了语音对话中真正意义上的语音理解生成端到端，相比传统的 ASR+LLM+TTS 的级联方式，在对话效果上有质的飞跃。Doubao-1.5-pro 不仅拥有高理解力（高智商），还具备语音高表现力与高控制力，以及模型整体在回复内容和语音上的高情绪承接能力。

在框架设计上，我们将语音和文本 Token 进行融合，为语音多模态数据的 Scaling 提供了必要条件。在 Pretrain 阶段，我们开发了多样化的数据生产和使用方式，同时在训练上探索了多种有效方案，通过 Scaling 最大化地将语音和文本能力进行深度融合。在 PostTraining 阶段, 通过融合高表现力与智商数据的均衡， 数据筛选以及多模态 RL 阶段的专项能力提升让模型在智商，语音表现力等多方面达到最优。