6月28日消息，今日，字節(jié)跳動火山翻譯團(tuán)隊(duì)宣布推出LightSeq訓(xùn)練加速引擎，并向全球開發(fā)者開源。
Transformer是自然語言處理、計(jì)算機(jī)視覺等AI技術(shù)領(lǐng)域最常用的基礎(chǔ)模型，被廣泛應(yīng)用在機(jī)器翻譯、文本生成、文本摘要、圖像處理、時(shí)間序列預(yù)測等任務(wù)中。訓(xùn)練和推理則是AI技術(shù)的兩個(gè)主要過程，相當(dāng)于學(xué)習(xí)知識和解決問題。
據(jù)悉，LightSeq訓(xùn)練加速引擎能夠支持Transformer的完整加速，從詞嵌入層、編碼層、解碼層，到最后的損失函數(shù)層，業(yè)內(nèi)首次實(shí)現(xiàn)了全流程支持。而且LightSeq的訓(xùn)練速度極快，相比主流的序列生成庫，LightSeq最快只需要三分之一的時(shí)間就能完成訓(xùn)練。
根據(jù)公開報(bào)道，字節(jié)跳動現(xiàn)在已經(jīng)開源了機(jī)器學(xué)習(xí)平臺Klever、聯(lián)邦學(xué)習(xí)平臺Fedlearner、高性能分布式訓(xùn)練框架BytePS等重磅項(xiàng)目。
關(guān)鍵詞： 字節(jié)跳動
責(zé)任編輯：Rex_01
