Foundation
豆包大模型 Foundation 团队负责大模型的工程架构、模型结构设计、代码生成等方面工作
研究领域
工程架构
工作包括大规模分布式训练、高性能推理、结合新硬件的工程架构
模型结构设计
聚焦以更低成本训练更高效模型，包括：MoE 等稀疏模型研究、更高效 Attention 结构、与工程配合的联合优化
代码生成
主要负责从预训练到 RL 对大模型代码效果进行优化
课题方向
大模型结构
设计高效率的大模型结构，用最少的训练、推理成本，获得更好的效果
AI foundation model
Efficient
大规模训练集群
研究超大规模训练集群，如何让训练的稳定性和 MFU 提升，跨集群训练
Large-scale
Stability
推理并行方案
研究如何解决推理的访存 bound，多机推理，各种不同的推理并行方案
Inference
Parallel
更先进的结构与模式
结合下一代计算体系，研究更先进的模型结构、训练模式、推理模式
Computing systems
Advanced
算法创新
研究大模型中 foundation 的算法问题，找寻算法创新
Algorithm
Innovation
技术应用
豆包 MarsCode
豆包 MarsCode 是基于豆包大模型打造的智能开发工具，提供 Cloud IDE 及 AI 编程助手两种使用形态，具备代码补全、智能问答、代码解释和代码修复等多项功能，节省开发时间，释放脑海中的创造力。
作为豆包代码模型的具体应用，豆包 MarsCode 支持智能识别当前编码任务相关的上下文信息，同时将代码理解、生成、优化、推荐、补全、审查等多维能力融为一体，无缝嵌入研发流程的各个环节，帮助开发者提升代码开发质量和效率。
Advanced development
Coding