近日，華為推出參數(shù)規(guī)模7180億的新模型——盤古Ultra MoE，這是一個(gè)全流程在昇騰AI計(jì)算平臺(tái)上訓(xùn)練的準(zhǔn)萬億MoE模型。華為同時(shí)發(fā)布盤古Ultra MoE模型架構(gòu)和訓(xùn)練方法的技術(shù)報(bào)告。在訓(xùn)練方法上，華為首次披露在昇騰CloudMatrix 384超節(jié)點(diǎn)上，打通大稀疏比MoE強(qiáng)化學(xué)習(xí)（RL）后訓(xùn)練框架的關(guān)鍵技術(shù)，使RL后訓(xùn)練進(jìn)入超節(jié)點(diǎn)集群時(shí)代。 此外，近期發(fā)布的盤古Pro MoE大模型，在參數(shù)量為720億，激活160億參數(shù)量的情況下，大模型榜單SuperCLUE的2025年5月排行榜上，位居千億參數(shù)量以內(nèi)大模型排行并列國(guó)內(nèi)第一。（科創(chuàng)板日?qǐng)?bào)）