2 月 5 日晚上的首都體育館，在短道速滑混合團(tuán)體 2000 米接力決賽中，中國隊(duì)擊敗對(duì)手，奪得中國首金。和萬千觀眾共同見證這一重要時(shí)刻的，還有騰訊 3D 手語數(shù)智人主播「聆語」，并用手語傳遞了這份喜悅：「最后一個(gè)彎道！武大靖率先沖出彎道，通過終點(diǎn)！」
在央視頻多場賽事中，騰訊 3D 手語數(shù)智人「聆語」作為「AI 手語翻譯官」，提供了手語解說服務(wù)，讓處于無聲世界中的特殊人群也能「聽」到中國舉辦冰雪賽事的盛況，進(jìn)一步提升了聽障人士的觀看體驗(yàn)。
「聆語」解說短道速滑男子 1000 米決賽，任子威奪金。
自由式滑雪女子大跳臺(tái)決賽，中國選手谷愛凌奪得金牌。我們?yōu)槭裁葱枰?AI 手語數(shù)智人主播？在很多體育賽事中，敏銳、專業(yè)、生動(dòng)、準(zhǔn)確的賽事解說可以稱得上是觀賽過程的「靈魂」所在。但是對(duì)于聽障人士來說，如果沒有實(shí)時(shí)的手語解說服務(wù)，他們很難和其他觀眾一樣充分感受到比賽現(xiàn)場的這份激情。在本次北京冬奧會(huì)的觀眾中，有一位來自武漢的聽障人士。他表示，自己一直對(duì)冰雪賽事很關(guān)注，但在觀看比賽時(shí)，最擔(dān)心的地方就是「主持人語速較快，很容易錯(cuò)過一些內(nèi)容」。「如果體育賽事能夠借助 AI 手語翻譯及時(shí)傳遞動(dòng)態(tài)，我的觀賽體驗(yàn)也會(huì)大大提升。」根據(jù)第二次全國殘疾人抽樣調(diào)查結(jié)果，中國有聽障人士 2780 萬人。手語是聽障人士之間相互交流思想、獲取外界信息的語言。目前許多新聞資訊、文娛節(jié)目中都缺少手語翻譯，手語主持人「明顯供不應(yīng)求」，這為聽障人士接收信息帶來了不小的阻礙。目前，大眾對(duì)冰雪賽事的關(guān)注熱情創(chuàng)下新高，這對(duì)大型賽事電視觀賽體驗(yàn)提出了更高的要求，其中也包括對(duì)手語解說服務(wù)需求的提升。AI 手語數(shù)智人主播迎來了更加廣闊的應(yīng)用場景。AI 手語數(shù)智人主播可以通過建立健聽人語言體系、逼真的畫面語言、連貫自然的動(dòng)作和新詞熱詞快速適配，提升 AI 手語表達(dá)的可懂度。2022 年 2 月，騰訊 3D 手語數(shù)智人「聆語」在央視頻 APP 落地，「聆語」也迎來了自己的第一份工作：央視頻 AI 手語翻譯官。
騰訊 3D 手語數(shù)智人「聆語」由騰訊云小微聯(lián)合 PCG AI 等技術(shù)團(tuán)隊(duì)共同打造，整合多模態(tài)交互技術(shù)、3D 數(shù)字人建模、機(jī)器翻譯、語音識(shí)別和自然語言理解等技術(shù)，讓「聆語」的手語表達(dá)能力接近真人。騰訊自主研發(fā)了一套可視化動(dòng)作編輯平臺(tái)，為更專業(yè)的手語老師提供了友好的工具平臺(tái)，可以讓手語老師高效率的對(duì)全量手語動(dòng)作進(jìn)行精修。截至目前，騰訊 3D 手語數(shù)智人「聆語」詞匯和語句覆蓋量超過 160 萬，并針對(duì)體育賽事做了大量定向優(yōu)化，手語可懂度 90% 以上，技術(shù)水準(zhǔn)行業(yè)領(lǐng)先。騰訊團(tuán)隊(duì)表示，他們希望為聽障人士打造手語數(shù)智人，通過自身積累的 AI 技術(shù)，打造一款可懂度高的數(shù)智人，用技術(shù)為聽障人士提供便利，這也是騰訊一直強(qiáng)調(diào)「科技向善」的理念。打造 3D 手語數(shù)智人「聆語」有何挑戰(zhàn)？正如命名「聆語」所示，騰訊這款 3D 手語數(shù)智人是聽障人士真正可懂的手語數(shù)字人。相比于其他的數(shù)智人，騰訊的手語數(shù)智人在技術(shù)上具備多項(xiàng)優(yōu)勢。對(duì)于觀眾來說，如果數(shù)字人在表達(dá)時(shí)出現(xiàn)神態(tài)和動(dòng)作僵硬不自然的問題，那么觀感就會(huì)大打折扣。在外觀方面，「聆語」依托騰訊領(lǐng)先的 3D 重光照掃描還原、面部肌肉驅(qū)動(dòng)、表情肢體手勢捕捉等技術(shù)，生成了高度還原真人發(fā)膚、動(dòng)作自然生動(dòng)的數(shù)字人。笑意盈盈、一襲清爽藍(lán)色套裝的「聆語」最初亮相，就顯著提升了手語播報(bào)的真實(shí)感與親切感：更具挑戰(zhàn)性的是，與一般的口頭表達(dá)相比，手語是一套視覺語言，存在語序、表情和口型呈現(xiàn)等諸多問題，更不用說在表達(dá)過程中手勢切換的流暢連貫性了。這些問題都要求 AI 手語主播需要具備較高的手語表達(dá)能力和精準(zhǔn)連貫的手語呈現(xiàn)能力。如何讓「聆語」像專業(yè)的手語主持人一樣，實(shí)時(shí)、精準(zhǔn)地傳遞解說內(nèi)容，有效提高手語表達(dá)可懂度？在手語動(dòng)作方面，為了讓「聆語」實(shí)現(xiàn)流暢的交互，騰訊團(tuán)隊(duì)的程序員們啃起了《國家通用手語詞典》，并讓「聆語」在上崗之前也認(rèn)真學(xué)習(xí)了《國家通用手語詞典》的規(guī)范。經(jīng)過漫長的手語調(diào)研、手語顧問團(tuán)隊(duì)建設(shè)，團(tuán)隊(duì)開發(fā)出了一套手語翻譯系統(tǒng)。在手語解說時(shí)，「聆語」首先通過健聽人語言與聽障者手語的機(jī)器翻譯能力，將健聽人語言內(nèi)容低延遲生成高準(zhǔn)確率的手語語言表征。示例如下：
隨后，「聆語」基于騰訊多模態(tài)端到端生成模型，進(jìn)行聯(lián)合建模及預(yù)測生成高準(zhǔn)確率的動(dòng)作、表情、唇動(dòng)等序列，實(shí)現(xiàn)自然專業(yè)、易懂度高的手語效果。得益于騰訊云小微和PCG AI 在語音技術(shù)領(lǐng)域的長期積累，「聆語」的 AI 手語可懂度達(dá)到了90%以上。
賽場手語翻譯的難點(diǎn)，包括要通過 ASR 技術(shù)，將比賽解說的語音從賽場現(xiàn)場的復(fù)雜環(huán)境聲音中分離出來進(jìn)行精準(zhǔn)的識(shí)別，然后再將識(shí)別出來的文本信息進(jìn)行智能摘要，使手語翻譯能夠和主持人語速達(dá)到匹配。接下來，將手語翻譯生成手語視頻，保證每個(gè)動(dòng)作準(zhǔn)確的同時(shí)，也要實(shí)現(xiàn)動(dòng)作與動(dòng)作之間的精準(zhǔn)銜接。在信息準(zhǔn)確率方面，「聆語」還可以快速學(xué)習(xí)時(shí)下的新詞熱詞，快速完成各種行業(yè)、業(yè)務(wù)場景和相關(guān)知識(shí)的學(xué)習(xí)，提升翻譯準(zhǔn)確性。比如 17 歲小將蘇翊鳴被稱為「小栓子」，再比如谷愛凌，需要「首字母 + 唇形」才能定義成特殊的詞。借助騰訊的大數(shù)據(jù)技術(shù)能力，「聆語」能夠做到快速及時(shí)地掌握熱詞，并進(jìn)行手語詞匯補(bǔ)充。此外，「聆語」更貼合業(yè)務(wù)，產(chǎn)品落地能力更強(qiáng)。騰訊團(tuán)隊(duì)綜合運(yùn)用 3D 數(shù)字人建模、機(jī)器翻譯、多模態(tài)數(shù)字人生成、遷移學(xué)習(xí)、實(shí)時(shí)面部動(dòng)作生成及驅(qū)動(dòng)等多項(xiàng) AI 技術(shù)，加深其感知理解，「聆語」支持業(yè)務(wù)場景更加豐富，業(yè)務(wù)數(shù)據(jù)積累量也更大。隨著 AI 交互智能的技術(shù)發(fā)展和應(yīng)用落地，數(shù)智人已經(jīng)成為很多行業(yè)的數(shù)字員工，輔助人類提供更加高效、精準(zhǔn)的服務(wù)。在新聞傳媒領(lǐng)域，在 2021 年 10 月，廣電總局在《廣播電視和網(wǎng)絡(luò)視聽「十四五」科技發(fā)展規(guī)劃》中也首次明確指出，要推動(dòng)虛擬主播、動(dòng)畫手語廣泛應(yīng)用于新聞播報(bào)、天氣預(yù)報(bào)、綜藝科教等節(jié)目生產(chǎn)，創(chuàng)新節(jié)目形態(tài)，提高制播效率和智能化水平。一直以來，騰訊云小微始終致力于推動(dòng) AI 交互智能領(lǐng)域的技術(shù)發(fā)展和產(chǎn)業(yè)應(yīng)用落地。此前，騰訊云小微聯(lián)合 PCG AI 及 AI Lab 等技術(shù)力量，打造了多個(gè)數(shù)智人方案，為大眾提供客服、導(dǎo)覽、講解等多樣化服務(wù)，涉及金融、傳媒政務(wù)、家居、教育、展會(huì)、交通等眾多領(lǐng)域。未來，來自騰訊技術(shù)團(tuán)隊(duì)的「聆語」還將在更多場景提供服務(wù)，幫助聽障人士和正常人一樣了解、交流新聞時(shí)事，助力實(shí)現(xiàn)更好的無障礙信息傳播環(huán)境。
portant; overflow-wrap: break-word !important;" />
