6 月 30 日,百度正式開源文心大模型 4.5 系列模型,涵蓋 47B、3B 激活參數的混合專家(MoE)模型,與 0.3B 參數的稠密型模型等 10 款模型,并實現預訓練權重和推理代碼的完全開源。目前,文心大模型 4.5 開源系列已可在飛槳星河社區、HuggingFace 等平臺下載部署使用,同時開源模型 API 服務也可在百度智能云千帆大模型平臺使用。早在今年 2 月,百度就已預告了文心大模型 4.5 系列的推出計劃,并明確將于 6 月 30 日起正式開源。
此次百度一次性推出 10 款文心大模型 4.5 系列開源模型,在獨立自研模型數量占比、模型類型數量、參數豐富度、開源寬松度與可靠性等關鍵維度上,均處于行業領先位置。
據介紹,文心大模型 4.5 開源系列針對 MoE 架構提出了一種創新性的多模態異構模型結構,適用于從大語言模型向多模態模型的持續預訓練范式,在保持甚至提升文本任務性能的基礎上,顯著增強了多模態理解能力,其優越的性能主要得益于多模態混合專家模型預訓練、高效訓練推理框架和針對模態的后訓練等關鍵技術點。
此外,文心大模型 4.5 開源系列均使用飛槳深度學習框架進行高效訓練、推理和部署。在大語言模型的預訓練中,模型 FLOPs 利用率(MFU)達到 47%。實驗結果顯示,其系列模型在多個文本和多模態基準測試中達到 SOTA 水平,尤其在指令遵循、世界知識記憶、視覺理解和多模態推理任務上效果突出。
在文本模型方面,文心大模型 4.5 開源系列基礎能力強、事實準確性高、指令遵循能力強、推理和編程能力出色,在多個主流基準評測中超越 DeepSeek-V3、Qwen3 等模型。在多模態模型方面,文心大模型 4.5 開源系列擁有卓越的視覺感知能力,同時精通豐富視覺常識,并實現了思考與非思考統一,在視覺常識、多模態推理、視覺感知等主流的多模態大模型評測中優于閉源的 OpenAI o1。此外,在輕量模型上,文心 4.5-21B-A3B-Base 文本模型效果與同量級的 Qwen3 相當,文心 4.5-VL-28B-A3B 多模態模型也是目前同量級最好的多模態開源模型,甚至與更大參數模型 Qwen2.5-VL-32B 不相上下。
據了解,文心大模型 4.5 開源系列權重按照 Apache 2.0 協議開源,支持開展學術研究和產業應用。此外,基于飛槳提供開源的產業級開發套件,廣泛兼容多種芯片,降低模型的后訓練和部署門檻。
作為國內最早投入 AI 研發的企業之一,百度在算力、框架、模型到應用的四層布局構建了明顯的 AI 全棧技術優勢。其中,飛槳是中國首個自主研發、功能豐富、開源開放的產業級深度學習平臺,基于多年飛槳開源技術與生態系統積累,此次文心大模型 4.5 開源系列同步升級發布文心大模型開發套件 ERNIEKit 和大模型高效部署套件 FastDeploy,為文心大模型 4.5 系列及開發者提供開箱即用的工具和全流程支持。
值得關注的是,此次文心大模型 4.5 系列開源后,百度 ( BIDU.US,09888.HK ) 實現了框架層與模型層的 " 雙層開源 ",為行業樹立了新標桿。