(資料圖)

品玩 6 月 27 日訊，據(jù)微軟官方消息，微軟研究人員日前推出了名為 ZeRO++ 的新技術(shù)，可顯著減少大模型訓(xùn)練時(shí)間和成本。

ZeRO++ 建立在 ZeRO 傳輸技術(shù)基礎(chǔ)上，提供增強(qiáng)的通信策略，可提高訓(xùn)練效率，同時(shí)減少訓(xùn)練時(shí)間和成本。ZeRO++ 可對權(quán)重進(jìn)行量化，其利用基于塊的量化方法來保持訓(xùn)練精度，這種優(yōu)化的量化過程相對原始 Zero 傳輸技術(shù)更快更準(zhǔn)確。

微軟研究人員表示，與 ZeRO 相比，ZeRO++ 減少了高達(dá) 4 倍的通信量，提高了訓(xùn)練吞吐量和效率。

關(guān)鍵詞：