8月14日,字節(jié)跳動Seed團隊發(fā)布并開源了全模態(tài)PyTorch原生訓(xùn)練框架——VeOmni。據(jù)悉,VeOmni采用以模型為中心的分布式訓(xùn)練方案,可將復(fù)雜的分布式并行邏輯與模型計算解耦,為全模態(tài)模型組合設(shè)置高效的并行訓(xùn)練方案。這一方式可大幅降低工程開銷,提升訓(xùn)練效率和擴展性,將數(shù)周的工程開發(fā)時間縮短至幾天。(鞭牛士)
8月14日,字節(jié)跳動Seed團隊發(fā)布并開源了全模態(tài)PyTorch原生訓(xùn)練框架——VeOmni。據(jù)悉,VeOmni采用以模型為中心的分布式訓(xùn)練方案,可將復(fù)雜的分布式并行邏輯與模型計算解耦,為全模態(tài)模型組合設(shè)置高效的并行訓(xùn)練方案。這一方式可大幅降低工程開銷,提升訓(xùn)練效率和擴展性,將數(shù)周的工程開發(fā)時間縮短至幾天。(鞭牛士)