探索推理能力的边界

以 O1 为代表的技术路线证明了推理能力可以推动智能边界提升，我们也在实践中发现对推理能力的研究才刚刚开始，有大量未探索的问题值得去深耕。无论是预训练算力级别的大规模强化学习，还是预训练和强化学习的迭代，或是可泛化的 Test-Time Scaling，每一项技术突破都会推动智能边界前进一步。

探索感知能力的边界

我们相信智能和交互是相辅相成的，通用模型除了有极高的智能水平，还需要具备极强的和人类沟通交流的能力。我们会统一生成和理解表示，探索世界模型建模；从真实世界原始数据直接进行压缩，探索比语言更好的对世界进行表示的建模，突破智能的边界受限于语言的约束。

探索下一个Scaling方向

继 Pretraining Scaling 和 Test-Time Scaling 之后，下一个 Scaling 方向对未来智能边界的演化会起到重要的作用。探索下一个 Scaling 方向，并推动智能边界的进步。

探索下一代学习范式

探索对未来的学习范式有变化的方向，挑战现有范式的“共识”，给更高效地实现通用智能提供基础和可能性。通过可解释性研究理解模型学习能力的来源，并进一步提出新的学习视角，探索模型在学习过程中的表现，和生物启发的学习过程对比，发现现有模型学习范式可以改进的空间：探索比 Next-Token Prediction 更高效的学习目标；探索比 Backpropagation 更高效的学习方法；探索比大数据 Pretraining+Alignment 更高效的学习范式。

探索软硬一体的下一代模型设计

Transformer 的高效很大程度上取决于它与 GPU 的适配性，能充分发挥 GPU 的性能。我们希望面向下一代训练和推理硬件的结构特点设计下一代模型，从软硬件一体的角度思考未来的模型结构特性，达到训练效率、推理效率、模型性能的多目标同时优化，并进一步压榨下一代硬件的能力，突破模型能力的边界。