今年8月，meta公司推出了其多模態(tài)人工智能翻譯模型SeamlessM4T，該模型支持近100種語(yǔ)言的文本和36種語(yǔ)言的語(yǔ)音?，F(xiàn)在該模型更新了“v2”架構(gòu)，meta將其稱(chēng)之為“Seamless Communication（無(wú)縫溝通）”模型，能夠讓對(duì)話翻譯更加自然和富有表現(xiàn)力。
兩個(gè)新功能中的第一個(gè)是“SeamlessExpressive”，顧名思義，該功能可以將你的語(yǔ)氣轉(zhuǎn)移到翻譯后的語(yǔ)音中，包括音調(diào)、音量、情感色彩（興奮、悲傷或低語(yǔ)）、語(yǔ)速和停頓?？紤]到目前翻譯后的語(yǔ)音一般聽(tīng)起來(lái)都很機(jī)械，這一突破還是非常值得期待的，無(wú)論是在我們的日常生活中還是在內(nèi)容制作中，都有很大的幫助。目前其支持的語(yǔ)言包括英語(yǔ)、西班牙語(yǔ)、德語(yǔ)、法語(yǔ)、意大利語(yǔ)和中文，不過(guò)在IT之家撰寫(xiě)本文時(shí)，演示頁(yè)面缺少意大利語(yǔ)和中文。
第二個(gè)功能是“SeamlessStreaming”，可以在說(shuō)話者仍在講話時(shí)開(kāi)始翻譯，從而讓其他人更快地聽(tīng)到翻譯。雖然仍有不到兩秒鐘的短暫延遲，但至少不必等到對(duì)方說(shuō)完一個(gè)句子。據(jù)meta公司稱(chēng)，最大的挑戰(zhàn)在于不同語(yǔ)言有不同的句子結(jié)構(gòu)，因此他們必須開(kāi)發(fā)一個(gè)專(zhuān)門(mén)的算法來(lái)研究部分音頻輸入，以決定是否有足夠的上下文開(kāi)始生成翻譯輸出，或者是否繼續(xù)傾聽(tīng)。
IT之家注意到，目前meta還沒(méi)有透露公眾何時(shí)能夠使用這些新功能，但可以期待未來(lái)meta將它們集成到其智能眼鏡中，使其更加實(shí)用。
