很多人在玩游戲的時候，都會感覺到游戲中的NPC非常“腦殘”。但這一情況將會發(fā)生改變了。前不久，Unity推出了一個強大的開源軟件Unity Machine Learning Agents，通過這個開源軟件，能夠?qū)⑵溆螒蛞媾c機器學習程序連接起來。通過深度強化學習算法，非玩家角色（NPC）可以不斷地進行嘗試和犯錯，變得更有創(chuàng)造性和策略性，從而增加游戲的對抗性和可玩性。也就是說，游戲中的NPC將會變得越來越聰明。更加值得關(guān)注的是，這個開源軟件的適用范圍并不僅限于游戲中的虛擬人物，還可以用來訓練那些用于真實世界的機器人。
這些年，視頻游戲開發(fā)者已經(jīng)在使用人工智能來優(yōu)化玩家能夠操縱的游戲角色了。但玩家不能操縱的角色，游戲中的NPC，都是基于人類編寫的規(guī)則，在游戲體驗上并不完美，玩家很容易就能掌握了其中的規(guī)律，從而會感覺到游戲非常無聊。
不過，這一切都將會發(fā)生改變。利用人工智能技術(shù)，游戲中的NPC將會根據(jù)游戲中遇到的情況，對自己的游戲規(guī)則進行編程和重新編程。也就是說，他們在游戲中的時間越長，就會越聰明。
前不久，Unity推出了一個強大的開源軟件Unity Machine Learning Agents，通過這個開源軟件，能夠?qū)⑵溆螒蛞媾c機器學習程序（比如谷歌的TensorFlow）連接起來。Unity是游戲引擎軟件的主要制造商，王者榮耀、紀念碑谷、神廟逃亡2、Pokémon GO都用的是它提供的游戲引擎。
Unity負責人工智能和機器學習的副總裁Danny Lange表示，通過深度強化學習算法，非玩家角色（NPC）可以不斷地進行嘗試和犯錯，變得更有創(chuàng)造性和策略性，從而增加游戲的對抗性和可玩性。
不過，Unity的新AI-linking工具的使用場景并不局限于游戲中的虛擬角色。Lange說，這種軟件還可以加速機器人的發(fā)展，比如自動駕駛汽車，可以讓它們在“雜亂無章的、計算機生成的”的場景中不間斷的訓練，使其變得更加智能。
Unity利用機器學習技術(shù)，通過從多個角度評估場景——鳥-眼（左）和第一人稱視角（右）——在這個尚未發(fā)布的坦克戰(zhàn)斗游戲中設(shè)計出了一個策略。
Unity也坦然表示，他們并沒有發(fā)明這些技術(shù)，只是讓這些技術(shù)變得更容易使用。比如說，谷歌旗下的DeepMind利用深度強化學習技術(shù)，教AI玩兒上世紀80年代的電子游戲，比如“Breakout”。
在游戲式的環(huán)境中，訓練自動駕駛系統(tǒng)也有很多的例子。比如說，MSC Software的虛擬測試驅(qū)動器應(yīng)用程序提供汽車培訓模擬。像The Open Racing Car Simulator和Euro Truck Simulator 2這樣的游戲也被用于自動駕駛汽車的虛擬訓練。而Nvidia的New Lsaac Lab則使用競爭對手Epic Games的“虛擬引擎”來生成逼真的虛擬環(huán)境，用于訓練那些控制真實機器人的算法。
Lange表示，現(xiàn)在可以在GitHub上使用測試版的新ML-Agents工具，可以讓游戲引擎和AI軟件之間的鏈接不再動輒就要消耗數(shù)天甚至數(shù)周的時間。他說：“我們想做的是在一小時內(nèi)達到這一目標。”很顯然，這會讓更多的人更容易嘗試開發(fā)出更好的游戲角色，或者把訓練機器人這一枯燥的事情變得更容易。
智能游戲
今年早些時候，Unity展示了深度強化學習的潛力，它在一個基于Unity的移動游戲Crossy Road上做了實驗。在游戲中，一只雞必須穿過一條無窮無盡的道路，每次它撞到一個禮盒，就能獲得一分，但每次它撞上一輛卡車，就會失去一分。在讓分數(shù)最大化的任務(wù)的下，就開始了學習的過程。
起初，這只雞像一只喝醉了的蛾子一樣四處亂飛，前后移動，不斷與禮物和卡車相撞。
經(jīng)過幾個小時的反復試驗，再加上機器學習識別出最佳戰(zhàn)術(shù)，這只鳥以“神一般的力量”在游戲中穿行。
更復雜的NPC可以訓練在更微妙的目標上，比如在第一人稱射擊游戲中最大化玩家的游戲時間。
Lange說：“它可能會發(fā)展出一些策略，以令人驚訝的方式展示自己。比如說，它會引誘你去追逐它，但你不會抓住它，它也不會馬上殺死你。通過這樣的方式來提高你在游戲中的時間。很顯然，這為更有創(chuàng)造性的行為打開了一扇門，這是你可能想象不到的；或者說，以傳統(tǒng)的代碼水平而言，讓NPC執(zhí)行這樣的策略會非常非常費力。”
不過，也不要別指望這種能夠自學成才的虛擬對手很快就會出現(xiàn)。對于學者和科技公司的研究團隊來說，建立具有深度強化學習的NPC仍然是一項科學實驗。但如果Unity的ML-Agents能讓數(shù)百萬注冊開發(fā)者（即使是沒有很多資金的用戶）更方便地進行試驗，那么這個過程可能會加快。
智能機器人
像Unity和Unreal 這樣的視頻游戲引擎現(xiàn)在可以非常精確地模擬現(xiàn)實世界。從光與景觀的相互作用，到橡膠輪胎與水泥路之間的摩擦，游戲提供的虛擬環(huán)境已經(jīng)非常精確了，可以用來訓練那些用于真實世界的機器人。
通過一種叫做過程渲染（procedural rendering）的方法，游戲引擎可以動態(tài)地合成一條幾乎無限里程而且非常逼真的道路。通過機器學習軟件可以從分析游戲中反饋的視頻，并學習如何準確地解釋它所看到的內(nèi)容。
Lange說：“這與你在舊金山開車行駛在道路上很像。”他在2016年12月加入Unity之前，是Uber的機器學習主管。“但Uber的員工，他們需要做的就是回家，然后找外包公司來給這些視頻數(shù)據(jù)貼上標簽。”他們必須對每棵樹、汽車、行人、人行道、車道分隔器等物體進行標記，只有這樣，學習軟件才能知道它看到了什么，并開發(fā)出識別它們的技術(shù)。在虛擬場景的訓練中，因為像Unity或Unreal這樣的軟件是根據(jù)現(xiàn)實世界生成的非常逼真的場景，其中的每一個物體都已經(jīng)貼上了標簽。
自動駕駛汽車目前是一項巨大的技術(shù)項目，甚至連主要汽車制造商和硅谷的公司都在往其中投入大量的資源。但隨著Unity等產(chǎn)品的推出，小型游戲開發(fā)者更容易上手，Unity的ML-Agents也可以為更多的小型機器人和機器人開發(fā)者提供支持。
