對(duì)人類而言，斗地主可能只是一個(gè)簡(jiǎn)單的紙牌游戲;但在AI眼中，斗地主的玩法極具挑戰(zhàn)性。作為一款非完美信息游戲，斗地主不僅涉及策略合作，隊(duì)友/對(duì)手水平等復(fù)雜因素，其牌型組合更是高達(dá)27472種，極大地限制了如CFR等搜索類算法的使用，這也對(duì)算法模型的創(chuàng)新探索提出了更高的要求。

 

　　針對(duì)上述難點(diǎn)，網(wǎng)易互娛AI Lab聯(lián)合上海交通大學(xué)和CMU提出基于完美信息蒸餾(PTIE)的斗地主AI“PerfectDou”。在斗地主游戲中，非完美信息的引入主要是由于三位玩家均不能看到別人的手牌，對(duì)于任意一位玩家而言，僅可知道其余兩位玩家當(dāng)前手牌的并集，但很難精準(zhǔn)判斷每位玩家當(dāng)前手牌。針對(duì)此類非完美信息問(wèn)題，完美信息蒸餾的思路是構(gòu)建一個(gè)第三方角色，該角色可以看到三位玩家的手牌，該角色在不告知每位玩家完美信息的情況下，通過(guò)信息蒸餾的方式，引導(dǎo)玩家打出基于當(dāng)前情況相對(duì)合理的出牌，并贏得比賽。

 

　　針對(duì)斗地主游戲出牌組合數(shù)較多的問(wèn)題，PerfectDou基于RLCard的工作上對(duì)動(dòng)作空間進(jìn)行了簡(jiǎn)化，對(duì)占比最大的兩個(gè)出牌牌型進(jìn)行動(dòng)作壓縮，將整體動(dòng)作空間由27472種縮減到621種，幫助AI加速訓(xùn)練過(guò)程。

 

　　為驗(yàn)證AI模型的強(qiáng)度，PerfectDou與各個(gè)斗地主AI分別進(jìn)行了1萬(wàn)局的對(duì)戰(zhàn)，并與之前達(dá)到SOTA水平的DouZero模型單獨(dú)進(jìn)行了10萬(wàn)局對(duì)戰(zhàn)。對(duì)戰(zhàn)主要指標(biāo)包括兩種：勝率(WP)和場(chǎng)均得分(ADP)?？紤]到場(chǎng)均得分更符合斗地主游戲規(guī)則，所以將其作為主要指標(biāo)，勝率則作為輔助指標(biāo)。實(shí)驗(yàn)結(jié)果顯示，PerfectDou擊敗了所有已知AI斗地主模型，創(chuàng)下最新的SOTA水平。

 

　　目前，網(wǎng)易互娛AI LAB已公布論文全文、對(duì)外開源PerfectDou代碼，并提供在線試玩平臺(tái)，幫助人工智能領(lǐng)域?qū)W者進(jìn)一步研究AI技術(shù)在斗地主游戲上的應(yīng)用。

 

　　據(jù)悉，包括PerfectDou在內(nèi)的最新AI研究成果，均已集成于網(wǎng)易互娛AI LAB自研游戲AI系統(tǒng)Athena AI中。該系統(tǒng)還擁有前沿的模仿學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、進(jìn)化學(xué)習(xí)算法等眾多前沿游戲智能體相關(guān)技術(shù)，為網(wǎng)易不同類型的熱門游戲，提供競(jìng)技對(duì)戰(zhàn)、友好陪玩、平衡性測(cè)試等豐富多樣的AI解決方案。

 

　　網(wǎng)易互娛AI Lab成立于2017年，隸屬于網(wǎng)易互動(dòng)娛樂事業(yè)群。作為游戲行業(yè)領(lǐng)先的人工智能實(shí)驗(yàn)室，網(wǎng)易互娛AI Lab所提供的AI服務(wù)包括計(jì)算機(jī)視覺、自然語(yǔ)言處理、語(yǔ)音信號(hào)處理、游戲AI等;應(yīng)用于《夢(mèng)幻西游》《哈利波特：魔法覺醒》《陰陽(yáng)師》《大話西游》《荒野行動(dòng)》等網(wǎng)易旗下多款熱門游戲。