考慮到全連接網(wǎng)絡(luò)（FCN）在人工智能領(lǐng)域的基礎(chǔ)性地位，王濤首先復(fù)現(xiàn)了基于FCN的人體姿態(tài)后處理算法SmoothNet。得益于TecoPyTorch框架優(yōu)秀的接口適配，王濤僅更改了幾行代碼就將基于CUDA設(shè)備的代碼遷移到了SDAA設(shè)備上，完成了SmoothNet pipeline的復(fù)現(xiàn)。進(jìn)一步，他在TecoPyTorch上開啟了混合精度訓(xùn)練，成功將模型訓(xùn)練速度提升了40%。最終，復(fù)現(xiàn)模型不僅達(dá)到了官方基準(zhǔn)性能，更在部分指標(biāo)上超越了原論文報(bào)告的結(jié)果，充分展現(xiàn)了太初AI加速卡在硬件和軟件層面的卓越計(jì)算精度。

在第二個模型的選擇上，王濤著眼于當(dāng)前主導(dǎo)大語言模型領(lǐng)域的Transformer架構(gòu)，探索太初AI加速卡的廣泛適用性。他選取了基于Transformer的人體動作預(yù)測網(wǎng)絡(luò)MRT作為研究對象，通過規(guī)范化官方開源代碼，使其能夠兼容CPU、CUDA和SDAA等多種設(shè)備，為用戶提供了靈活的設(shè)備選擇空間。隨后，他深入探索了TecoPyTorch的多卡訓(xùn)練能力，通過三種不同的啟動方式實(shí)現(xiàn)多卡并行訓(xùn)練，并結(jié)合混合精度技術(shù)進(jìn)一步優(yōu)化了MRT的訓(xùn)練效率。這種訓(xùn)練策略具有廣泛的適用性，能夠滿足大多數(shù)科研工作者的需求。最終，復(fù)現(xiàn)模型完全達(dá)到了官方性能標(biāo)準(zhǔn)，這充分證明了TecoPyTorch對Transformer架構(gòu)的良好支持。

在適配過程中，蘇儀修改了 cross-attention API，使其支持 OpenBA-V2 的 encoder-decoder 類型；在將文本轉(zhuǎn)換成tokens的過程中，增加了 SentencePieceTokenizer；針對optimized-ul2預(yù)訓(xùn)練任務(wù)，添加數(shù)據(jù)預(yù)處理代碼。微調(diào)過程中，他針對 optimized-ul2 預(yù)訓(xùn)練任務(wù)，添加了數(shù)據(jù)預(yù)處理代碼，并搜集處理了 1 億條中英指令數(shù)據(jù)；針對 8 機(jī) 64 卡與實(shí)際模型結(jié)構(gòu)，調(diào)整了分布式策略，修改 TP、DP、PP 參數(shù)，以獲得最優(yōu)的硬件利用率；同時，在多機(jī)多卡的訓(xùn)練過程中進(jìn)行了精度排查，提升了模型的可靠性。最終，微調(diào)后的 OpenBA-V2 在 C-Eval、MMLU、CMMLU 數(shù)據(jù)集上的評測準(zhǔn)確率分別提升了 13%、13%、12%。

蘇儀表示：

本次活動中我獲得了十分難得的多機(jī)多卡訓(xùn)練機(jī)會，在64卡上完成了自研模型的訓(xùn)練。使用 torch2.0 以上版本 + 太初開發(fā)的 torch_sdaa 后端，可以在用戶層面實(shí)現(xiàn)太初AI加速卡和友商加速卡的無縫切換。通過這次活動，還學(xué)習(xí)了分布式系統(tǒng)下的debug技巧，以及如何在分布式訓(xùn)練的場景下通過調(diào)整超參提升模型的訓(xùn)練效率，這對我以后的訓(xùn)練經(jīng)驗(yàn)是非常重要。