2024年3月21日，悉尼大學(xué)、中國(guó)石油大學(xué)、南洋理工大學(xué)和JD Explore Academy的研究團(tuán)隊(duì)共同推出了一項(xiàng)革命性的技術(shù)——兩階段微調(diào)技術(shù)，旨在解決大型語言模型（LLM）在翻譯任務(wù)中常見的偏離目標(biāo)翻譯問題。這一問題在零快照翻譯設(shè)置中尤為突出，即模型需要在訓(xùn)練期間未曾接觸過的語言對(duì)之間進(jìn)行翻譯。

盡管LLM在翻譯任務(wù)中展現(xiàn)出強(qiáng)大的能力，有時(shí)甚至可以媲美商業(yè)廣告機(jī)器翻譯（MT）系統(tǒng)，但非目標(biāo)翻譯仍然是一個(gè)亟待解決的難題，特別是在涉及低資源語言時(shí)。為了解決這一挑戰(zhàn)，研究人員提出了一種創(chuàng)新的兩階段微調(diào)方法，專注于提升LLM對(duì)指令的遵循能力，特別是確保其嚴(yán)格遵循語言翻譯方向。

在第一階段，研究團(tuán)隊(duì)利用多語言翻譯數(shù)據(jù)集，通過最大似然損失（MLE）對(duì)LLM進(jìn)行微調(diào)。MLE損失函數(shù)旨在評(píng)估模型根據(jù)給定輸入和參數(shù)生成正確輸出的可能性。通過最小化這種損失，模型能夠基于訓(xùn)練數(shù)據(jù)以及提供的說明和目標(biāo)輸出，生成更為準(zhǔn)確的翻譯。這一階段的微調(diào)旨在初步釋放LLM內(nèi)在的翻譯潛能。

進(jìn)入第二階段，研究團(tuán)隊(duì)創(chuàng)建了與指令相沖突的樣本，即提供的指令與實(shí)際需要執(zhí)行的內(nèi)容或任務(wù)之間存在矛盾的示例。這些樣本通過用不正確的語言翻譯指令替換原本的指令來構(gòu)建，從而模擬模型在實(shí)際應(yīng)用中可能遇到的沖突情境。

在這一階段，團(tuán)隊(duì)引入了一個(gè)額外的不可能性損失，以針對(duì)這些指令沖突樣本對(duì)模型進(jìn)行訓(xùn)練。通過整合這一額外的損失函數(shù)，模型被鼓勵(lì)為錯(cuò)誤的翻譯分配更低的概率。這一過程有助于模型學(xué)會(huì)處理沖突的指令，進(jìn)而增強(qiáng)其遵循正確語言翻譯方向的能力，并在零快照?qǐng)鼍爸猩删_無誤的翻譯。

為了驗(yàn)證該技術(shù)的有效性，研究人員將這一方法應(yīng)用于LLaMA模型，并在16個(gè)語言翻譯方向上進(jìn)行了實(shí)驗(yàn)。結(jié)果表明，在IWSLT和WMT基準(zhǔn)測(cè)試中，偏離目標(biāo)的翻譯率顯著下降，分別實(shí)現(xiàn)了高達(dá)92.2%和29.9%的改善。研究人員進(jìn)一步指出，這一改進(jìn)顯著提升了翻譯質(zhì)量，IWSLT/WMT數(shù)據(jù)集中BLEURT和SacreBLEU的平均增長(zhǎng)率分別為23.0/12.4和5.2/6.1。