搜索中心
搜索到 2 條相關(guān)內(nèi)容
字節(jié)攻克MoE關(guān)鍵瓶頸，訓(xùn)練成本節(jié)省40%
3月10日，字節(jié)豆包大模型團(tuán)隊(duì)官宣開源一項(xiàng)針對MoE架構(gòu)的關(guān)鍵優(yōu)化技術(shù)，可將大模型訓(xùn)練效率提升1.7倍，成本節(jié)省40%。據(jù)了解，該技術(shù)已實(shí)際應(yīng)用于字節(jié)的萬卡集群訓(xùn)練，累計(jì)幫助節(jié)省了數(shù)百萬GPU小時訓(xùn)練算力。
OpenAI因算力瓶頸暫緩GPT-5發(fā)布，合作芯片開發(fā)尋求突破
OpenAI的首席執(zhí)行官Sam Altman在周四透露，由于計(jì)算能力的限制，公司無法按預(yù)期頻率推出新產(chǎn)品。他解釋稱，隨著AI模型變得日益復(fù)雜，公司難以同時處理眾多項(xiàng)目，尤其是在計(jì)算資源分配上面臨挑戰(zhàn)。