很多人在玩游戲的時(shí)候，都會(huì)感覺到游戲中的NPC非常“腦殘”。但這一情況將會(huì)發(fā)生改變了。前不久，Unity推出了一個(gè)強(qiáng)大的開源軟件Unity Machine Learning Agents，通過這個(gè)開源軟件，能夠?qū)⑵溆螒蛞媾c機(jī)器學(xué)習(xí)程序連接起來(lái)。通過深度強(qiáng)化學(xué)習(xí)算法，非玩家角色（NPC）可以不斷地進(jìn)行嘗試和犯錯(cuò)，變得更有創(chuàng)造性和策略性，從而增加游戲的對(duì)抗性和可玩性。也就是說，游戲中的NPC將會(huì)變得越來(lái)越聰明。更加值得關(guān)注的是，這個(gè)開源軟件的適用范圍并不僅限于游戲中的虛擬人物，還可以用來(lái)訓(xùn)練那些用于真實(shí)世界的機(jī)器人。
這些年，視頻游戲開發(fā)者已經(jīng)在使用人工智能來(lái)優(yōu)化玩家能夠操縱的游戲角色了。但玩家不能操縱的角色，游戲中的NPC，都是基于人類編寫的規(guī)則，在游戲體驗(yàn)上并不完美，玩家很容易就能掌握了其中的規(guī)律，從而會(huì)感覺到游戲非常無(wú)聊。
不過，這一切都將會(huì)發(fā)生改變。利用人工智能技術(shù)，游戲中的NPC將會(huì)根據(jù)游戲中遇到的情況，對(duì)自己的游戲規(guī)則進(jìn)行編程和重新編程。也就是說，他們?cè)谟螒蛑械臅r(shí)間越長(zhǎng)，就會(huì)越聰明。
前不久，Unity推出了一個(gè)強(qiáng)大的開源軟件Unity Machine Learning Agents，通過這個(gè)開源軟件，能夠?qū)⑵溆螒蛞媾c機(jī)器學(xué)習(xí)程序（比如谷歌的TensorFlow）連接起來(lái)。Unity是游戲引擎軟件的主要制造商，王者榮耀、紀(jì)念碑谷、神廟逃亡2、Pokémon GO都用的是它提供的游戲引擎。
Unity負(fù)責(zé)人工智能和機(jī)器學(xué)習(xí)的副總裁Danny Lange表示，通過深度強(qiáng)化學(xué)習(xí)算法，非玩家角色（NPC）可以不斷地進(jìn)行嘗試和犯錯(cuò)，變得更有創(chuàng)造性和策略性，從而增加游戲的對(duì)抗性和可玩性。
不過，Unity的新AI-linking工具的使用場(chǎng)景并不局限于游戲中的虛擬角色。Lange說，這種軟件還可以加速機(jī)器人的發(fā)展，比如自動(dòng)駕駛汽車，可以讓它們?cè)?ldquo;雜亂無(wú)章的、計(jì)算機(jī)生成的”的場(chǎng)景中不間斷的訓(xùn)練，使其變得更加智能。
Unity利用機(jī)器學(xué)習(xí)技術(shù)，通過從多個(gè)角度評(píng)估場(chǎng)景——鳥-眼（左）和第一人稱視角（右）——在這個(gè)尚未發(fā)布的坦克戰(zhàn)斗游戲中設(shè)計(jì)出了一個(gè)策略。
Unity也坦然表示，他們并沒有發(fā)明這些技術(shù)，只是讓這些技術(shù)變得更容易使用。比如說，谷歌旗下的DeepMind利用深度強(qiáng)化學(xué)習(xí)技術(shù)，教AI玩兒上世紀(jì)80年代的電子游戲，比如“Breakout”。
在游戲式的環(huán)境中，訓(xùn)練自動(dòng)駕駛系統(tǒng)也有很多的例子。比如說，MSC Software的虛擬測(cè)試驅(qū)動(dòng)器應(yīng)用程序提供汽車培訓(xùn)模擬。像The Open Racing Car Simulator和Euro Truck Simulator 2這樣的游戲也被用于自動(dòng)駕駛汽車的虛擬訓(xùn)練。而Nvidia的New Lsaac Lab則使用競(jìng)爭(zhēng)對(duì)手Epic Games的“虛擬引擎”來(lái)生成逼真的虛擬環(huán)境，用于訓(xùn)練那些控制真實(shí)機(jī)器人的算法。
Lange表示，現(xiàn)在可以在GitHub上使用測(cè)試版的新ML-Agents工具，可以讓游戲引擎和AI軟件之間的鏈接不再動(dòng)輒就要消耗數(shù)天甚至數(shù)周的時(shí)間。他說：“我們想做的是在一小時(shí)內(nèi)達(dá)到這一目標(biāo)。”很顯然，這會(huì)讓更多的人更容易嘗試開發(fā)出更好的游戲角色，或者把訓(xùn)練機(jī)器人這一枯燥的事情變得更容易。
智能游戲
今年早些時(shí)候，Unity展示了深度強(qiáng)化學(xué)習(xí)的潛力，它在一個(gè)基于Unity的移動(dòng)游戲Crossy Road上做了實(shí)驗(yàn)。在游戲中，一只雞必須穿過一條無(wú)窮無(wú)盡的道路，每次它撞到一個(gè)禮盒，就能獲得一分，但每次它撞上一輛卡車，就會(huì)失去一分。在讓分?jǐn)?shù)最大化的任務(wù)的下，就開始了學(xué)習(xí)的過程。
起初，這只雞像一只喝醉了的蛾子一樣四處亂飛，前后移動(dòng)，不斷與禮物和卡車相撞。
經(jīng)過幾個(gè)小時(shí)的反復(fù)試驗(yàn)，再加上機(jī)器學(xué)習(xí)識(shí)別出最佳戰(zhàn)術(shù)，這只鳥以“神一般的力量”在游戲中穿行。
更復(fù)雜的NPC可以訓(xùn)練在更微妙的目標(biāo)上，比如在第一人稱射擊游戲中最大化玩家的游戲時(shí)間。
Lange說：“它可能會(huì)發(fā)展出一些策略，以令人驚訝的方式展示自己。比如說，它會(huì)引誘你去追逐它，但你不會(huì)抓住它，它也不會(huì)馬上殺死你。通過這樣的方式來(lái)提高你在游戲中的時(shí)間。很顯然，這為更有創(chuàng)造性的行為打開了一扇門，這是你可能想象不到的；或者說，以傳統(tǒng)的代碼水平而言，讓NPC執(zhí)行這樣的策略會(huì)非常非常費(fèi)力。”
不過，也不要?jiǎng)e指望這種能夠自學(xué)成才的虛擬對(duì)手很快就會(huì)出現(xiàn)。對(duì)于學(xué)者和科技公司的研究團(tuán)隊(duì)來(lái)說，建立具有深度強(qiáng)化學(xué)習(xí)的NPC仍然是一項(xiàng)科學(xué)實(shí)驗(yàn)。但如果Unity的ML-Agents能讓數(shù)百萬(wàn)注冊(cè)開發(fā)者（即使是沒有很多資金的用戶）更方便地進(jìn)行試驗(yàn)，那么這個(gè)過程可能會(huì)加快。
智能機(jī)器人
像Unity和Unreal 這樣的視頻游戲引擎現(xiàn)在可以非常精確地模擬現(xiàn)實(shí)世界。從光與景觀的相互作用，到橡膠輪胎與水泥路之間的摩擦，游戲提供的虛擬環(huán)境已經(jīng)非常精確了，可以用來(lái)訓(xùn)練那些用于真實(shí)世界的機(jī)器人。
通過一種叫做過程渲染（procedural rendering）的方法，游戲引擎可以動(dòng)態(tài)地合成一條幾乎無(wú)限里程而且非常逼真的道路。通過機(jī)器學(xué)習(xí)軟件可以從分析游戲中反饋的視頻，并學(xué)習(xí)如何準(zhǔn)確地解釋它所看到的內(nèi)容。
Lange說：“這與你在舊金山開車行駛在道路上很像。”他在2016年12月加入U(xiǎn)nity之前，是Uber的機(jī)器學(xué)習(xí)主管。“但Uber的員工，他們需要做的就是回家，然后找外包公司來(lái)給這些視頻數(shù)據(jù)貼上標(biāo)簽。”他們必須對(duì)每棵樹、汽車、行人、人行道、車道分隔器等物體進(jìn)行標(biāo)記，只有這樣，學(xué)習(xí)軟件才能知道它看到了什么，并開發(fā)出識(shí)別它們的技術(shù)。在虛擬場(chǎng)景的訓(xùn)練中，因?yàn)橄馯nity或Unreal這樣的軟件是根據(jù)現(xiàn)實(shí)世界生成的非常逼真的場(chǎng)景，其中的每一個(gè)物體都已經(jīng)貼上了標(biāo)簽。
自動(dòng)駕駛汽車目前是一項(xiàng)巨大的技術(shù)項(xiàng)目，甚至連主要汽車制造商和硅谷的公司都在往其中投入大量的資源。但隨著Unity等產(chǎn)品的推出，小型游戲開發(fā)者更容易上手，Unity的ML-Agents也可以為更多的小型機(jī)器人和機(jī)器人開發(fā)者提供支持。
