11月21日，騰訊“開悟”平臺宣布正式開放“王者榮耀AI開放研究環(huán)境”申請，邁出全面開放的第一步。面向非商業(yè)用途的機器學習算法研究，“開悟”平臺將提供業(yè)界獨有的高復雜度MOBA訓練環(huán)境，助力相關學術領域的前沿探索。
最新開放申請的“王者榮耀AI開放研究環(huán)境”，包含了王者榮耀1v1對戰(zhàn)環(huán)境與baseline算法模型，當前支持20位英雄的鏡像對戰(zhàn)任務以及非鏡像類對戰(zhàn)任務，尤其適合研究競爭性強化學習中的泛化性與通用性問題。
現(xiàn)在，研究者只需在騰訊開悟平臺官網(wǎng)注冊賬號、提交資料并通過平臺審核，即可免費下載王者榮耀1v1測試環(huán)境gamecore，在本地進行AI相關研究測試。
申請地址：https://aiarena.tencent.com/aiarena/zh/open-gamecore
據(jù)了解，“王者榮耀AI開放研究環(huán)境”項目發(fā)布以來受到廣泛關注，今年9月以264星登上Github月度熱榜，同時，相關論文已被AI領域的頂級國際學術會議NeurIPS 2022接收。
隨著王者榮耀游戲在持續(xù)運營中成長迭代，“開悟”平臺也將逐步探索并開放更多適用于AI研究的游戲測試環(huán)境，為AI業(yè)界面臨的“缺乏高挑戰(zhàn)測試環(huán)境”難題提供全新解決方案。
高復雜度、高挑戰(zhàn)性的智能體訓練環(huán)境
在王者榮耀對戰(zhàn)中，雙方玩家互為競爭關系，需要收集資源的同時干擾對方，以達到贏得游戲的目的。作為一個具備多英雄、多玩法的復雜對抗游戲，王者榮耀的狀態(tài)、動作空間復雜度比圍棋等游戲高很多，是學術屆研究復雜控制類問題的優(yōu)質(zhì)環(huán)境。
2019年，騰訊AI Lab首次發(fā)布決策智能AI“王者絕悟”的研究論文，介紹在王者榮耀1v1環(huán)境中研究用深度強化學習來為智能體預測游戲動作的方法，該論文被AAAI 2020接收，之后“王者絕悟”陸續(xù)攻克5v5挑戰(zhàn)及全英雄池，在學術領域取得多項成就同時，也為王者榮耀玩家?guī)砹?ldquo;挑戰(zhàn)絕悟”等創(chuàng)新玩法。
同年，王者榮耀及騰訊AI Lab聯(lián)手打造“開悟”AI開放研究平臺，打造游戲AI產(chǎn)學研新生態(tài)。如今“開悟”正式開放王者榮耀1v1環(huán)境，并對環(huán)境進行了易用性封裝，提供標準代碼與訓練框架，讓個人用戶在資源允許的情況下可以輕松上手分布式訓練。
本次最新開放申請的“王者榮耀AI開放研究環(huán)境”在只考慮雙方英雄選擇條件下，支持400種對戰(zhàn)子任務，如果算上召喚師技能，將會有40000種子任務，這對模型的泛化性有很大挑戰(zhàn)，所以尤其適合研究競爭性強化學習中的泛化性與通用性問題。
進一步看，研究模型對不同任務的泛化性，對降低AI在不同領域的應用成本至關重要。例如，面對測試環(huán)境中的多個任務，如何在有限的資源和時間條件下獲得最好的效果，這其中的研究方法論和成果就可以遷移到其他領域，比如機器人不同部位的控制等。
“開悟”AI開放研究平臺：助力產(chǎn)學研共享AI新生態(tài)
“開悟”是騰訊牽頭構(gòu)建的AI多智能體與復雜決策開放研究平臺，依托騰訊AI Lab和“王者榮耀”在算法、算力、實驗場景方面的核心優(yōu)勢，為學術研究人員和算法開發(fā)者開放的國內(nèi)領先、國際一流研究與應用探索平臺。
目前，“開悟”也正在持續(xù)助力AI學界人才培養(yǎng)。2019年至今，“開悟”AI開放研究平臺已成功主辦兩屆“開悟多智能體強化學習大賽”、承辦了成都大運會“世界大學生數(shù)智競技邀請賽”AI賽道，“以賽促研”為國內(nèi)外青年研究人才提供測試及提升AI在復雜游戲場景下應用水平的機會。
2021年起，“開悟”先后與北大、清華、中科大等19所國內(nèi)頭部高校教師團隊聯(lián)合發(fā)起創(chuàng)新課程合作項目，已于多所高校陸續(xù)落地多智能體強化學習實踐課程，幫助學生通過更有趣的方式掌握機器學習、強化學習、多智能體決策等關鍵知識點。
基于“開悟”平臺，騰訊將與學界、業(yè)界攜手，共同利用游戲環(huán)境不斷提升AI能力，并尋找AI技術解決更多問題的可能性，在機器人、醫(yī)療、工業(yè)、交通等領域發(fā)揮更大作用。
附：論文地址
論文鏈接：https://openreview.net/forum?id=7e6W6LEOBg3
代碼鏈接：https://github.com/tencent-ailab/hok_env
