日前,“實(shí)時(shí)高逼真孿生數(shù)字人關(guān)鍵技術(shù)研發(fā)與應(yīng)用示范”項(xiàng)目啟動(dòng)會(huì)暨實(shí)施方案咨詢會(huì)在北京理工大學(xué)國(guó)際交流中心召開(kāi)。該項(xiàng)目由北京理工大學(xué)發(fā)起,上?？萍即髮W(xué)、北京大學(xué)、浙江大學(xué)、中科院計(jì)算所、中央戲劇學(xué)院、中國(guó)傳媒大學(xué)、杭州看潮信息等10家高校以及企業(yè)共同參與。項(xiàng)目圍繞高逼真數(shù)字人技術(shù),突破光場(chǎng)重建、智能生成與驅(qū)動(dòng)等業(yè)內(nèi)關(guān)鍵能力,通過(guò)構(gòu)建支持產(chǎn)業(yè)發(fā)展的核心硬件、工具平臺(tái)以及底層數(shù)據(jù)集等,最終實(shí)現(xiàn)內(nèi)容生產(chǎn)到數(shù)字消費(fèi)的業(yè)態(tài)鏈路暢通,達(dá)成文化與技術(shù)的有機(jī)融合。

　　會(huì)議現(xiàn)場(chǎng)

 

　　其中火山語(yǔ)音憑借業(yè)內(nèi)優(yōu)勢(shì)的AI語(yǔ)音技術(shù)以及全棧語(yǔ)音產(chǎn)品解決方案能力,參與到該項(xiàng)目課題三“實(shí)時(shí)高保真孿生數(shù)字人通用開(kāi)發(fā)平臺(tái)”的建設(shè)中,并與江南游戲工作室合作,通過(guò)整合交互理解、智能對(duì)話管理、智能驅(qū)動(dòng)三大模塊,構(gòu)建支持定制化并適用于多樣場(chǎng)景的數(shù)字人智能“對(duì)話”系統(tǒng),實(shí)現(xiàn)多模態(tài)交互對(duì)話。

 

　　例如在交互理解方向,該模塊集成了多語(yǔ)種自然語(yǔ)言識(shí)別以及多模態(tài)交互意圖識(shí)別功能;在智能對(duì)話管理模塊,則集成了情境定制管理、對(duì)話工廠、意圖管理、QA問(wèn)答管理、閑聊模塊等對(duì)話管理鏈路;在智能驅(qū)動(dòng)模塊,包含了情緒表情生成能力、唇型視素生成能力、肢體動(dòng)作自動(dòng)生成能力、支持“多語(yǔ)言+多音色”的語(yǔ)音合成能力,以及音樂(lè)驅(qū)動(dòng)舞蹈動(dòng)作生成能力等;智能對(duì)話系統(tǒng)最終輸出語(yǔ)音、口型、表情、動(dòng)作至云端渲染引擎,實(shí)現(xiàn)超寫實(shí)數(shù)字人的擬人化交互表達(dá)。

 

　　對(duì)此火山語(yǔ)音團(tuán)隊(duì)負(fù)責(zé)人馬澤君表示,未來(lái)通過(guò)參與這個(gè)科技項(xiàng)目研發(fā)產(chǎn)出的一系列創(chuàng)新技術(shù)將由火山語(yǔ)音加速達(dá)成實(shí)踐落地,并由火山引擎對(duì)外提供服務(wù),不斷探索AI與業(yè)務(wù)場(chǎng)景的高效融合,產(chǎn)出行業(yè)標(biāo)桿案例,提升音頻理解、音頻合成、數(shù)字人驅(qū)動(dòng)、對(duì)話交互等AI語(yǔ)音技術(shù)能力的同時(shí),以實(shí)現(xiàn)更大的產(chǎn)業(yè)價(jià)值。