天美J3工作室亮相WAIC 2023，共話FPS游戲AI技術(shù)與跨領(lǐng)域科創(chuàng)應(yīng)用

2023世界人工智能大會(huì)（WAIC）于7月6日-8日在上海舉辦，全球人工智能領(lǐng)域的領(lǐng)軍學(xué)者、多位圖靈獎(jiǎng)及諾貝爾獎(jiǎng)得主、知名科技企業(yè)代表、國際組織代表等齊聚，分享及探討人工智能技術(shù)的新成果、新機(jī)遇、新挑戰(zhàn)。大會(huì)第三天，由上海市徐匯區(qū)人民政府指導(dǎo)，騰訊游戲、騰訊華東總部主辦，上海西岸開發(fā)（集團(tuán)）有限公司支持的“游戲AI應(yīng)用與游戲科技論壇”順利舉辦。諸多游戲行業(yè)嘉賓與會(huì)，共同探討AI科技在游戲行業(yè)中的技術(shù)積累與愿景，展示AI技術(shù)在不同游戲品類中的創(chuàng)新拓展案例，及AI+游戲工具在跨界領(lǐng)域的應(yīng)用發(fā)展。

本次論壇中，騰訊游戲天美J3工作室 CoDM、逆戰(zhàn)手游開發(fā)負(fù)責(zé)人于棟，以《FPS游戲的AI應(yīng)用與跨領(lǐng)域科創(chuàng)探索》為題進(jìn)行了分享，重點(diǎn)闡述了J3工作室在FPS 游戲的擬人 AI 與智能體動(dòng)作生成技術(shù)的研發(fā)突破，以及相關(guān)技術(shù)在跨領(lǐng)域助力科技創(chuàng)新層面的運(yùn)用與暢想。

（騰訊游戲天美J3工作室 CoDM、逆戰(zhàn)手游開發(fā)負(fù)責(zé)人于棟發(fā)表分享現(xiàn)場）

(資料圖片僅供參考)

十年深耕FPS領(lǐng)域 J3布局品類技術(shù)新突破

天美J3工作室是騰訊游戲天美工作室群旗下射擊游戲研運(yùn)工作室，已帶給玩家多款耳熟能詳?shù)臉寫?zhàn)游戲作品，積淀了扎實(shí)的FPS領(lǐng)域研發(fā)實(shí)力。2015年，J3推出《穿越火線手游》，上線即快速搶占移動(dòng)端射擊游戲市場。2019年，J3與動(dòng)視暴雪聯(lián)合研發(fā)的《使命召喚手游》全球發(fā)行，并陸續(xù)獲得包括TGA年度最佳移動(dòng)游戲在內(nèi)的多項(xiàng)海內(nèi)外行業(yè)大獎(jiǎng)。而早在2012年，J3團(tuán)隊(duì)前身、騰訊游戲旗下琳瑯天上工作室（后與天美藝游工作室合并）的自研射擊團(tuán)隊(duì)便推出了騰訊首款自研全模式射擊網(wǎng)游《逆戰(zhàn)》，這也是國產(chǎn)自研FPS網(wǎng)游的領(lǐng)軍之作。目前，仍有多款新游在J3的研發(fā)進(jìn)程中，2022年，《逆戰(zhàn)》IP的UE4科幻PVE射擊新游戲《逆戰(zhàn)手游》也首次曝光。

（騰訊天美J3工作室旗下在線游戲產(chǎn)品）

（在研科幻射擊PVE產(chǎn)品《逆戰(zhàn)手游》）

而說回AI技術(shù)，尤其是深度學(xué)習(xí)的發(fā)展，無疑為游戲行業(yè)研發(fā)流程及玩家體驗(yàn)提升路徑開辟了眾多新的可行性。然而，由于FPS游戲往往采用3D立體場景，加之游戲具備著環(huán)境復(fù)雜、非完全視野、多敵多友、環(huán)境利用多樣性高等特征，都使得FPS的AI技術(shù)研究難度較2D、2.5D游戲有著數(shù)量級(jí)的增加。帶著這些挑戰(zhàn)，J3聯(lián)合騰訊的AI專家團(tuán)隊(duì)，開啟了深度學(xué)習(xí)在FPS游戲中的首創(chuàng)嘗試。

攜手騰訊AI Lab 共研行業(yè)領(lǐng)先FPS擬人AI

2018年起，J3工作室攜手騰訊AI Lab，開啟了以擬人AI為核心目標(biāo)的技術(shù)探索。面對(duì)3D環(huán)境帶來的AI學(xué)習(xí)復(fù)雜度挑戰(zhàn)，騰訊AI Lab與游戲側(cè)的聯(lián)合團(tuán)隊(duì)共同逐步攻克了3D環(huán)境感知擬人、3D操作擬人等技術(shù)難點(diǎn)，率先實(shí)現(xiàn)了業(yè)界領(lǐng)先、能夠解決長序列決策、進(jìn)行長距離規(guī)劃、具有掩體轉(zhuǎn)移與利用能力的全圖FPS AI方案。

2020年，《穿越火線手游》首個(gè)劇情互動(dòng)+競技的新模式“電競傳奇”上線。團(tuán)隊(duì)通過AI對(duì)職業(yè)選手的大量真實(shí)對(duì)局進(jìn)行分析，并在游戲中模擬還原出他們的操作。就這樣，CF手游的職業(yè)選手國寶、蠻蠻、阿康等人陸續(xù)被植入游戲，玩家可以隨時(shí)與這些高手來一局熱血沉浸的1v1。

2022年，《使命召喚手游》也上線了5v5電競挑戰(zhàn)賽模式。當(dāng)年獲得職業(yè)大師賽冠軍的Q9戰(zhàn)隊(duì)，被量身定制為游戲內(nèi)的AI角色，玩家可以組隊(duì)挑戰(zhàn)基于職業(yè)選手?jǐn)?shù)據(jù)訓(xùn)練出的“AI分身”戰(zhàn)隊(duì)，體驗(yàn)電競賽場上巔峰對(duì)決的競技樂趣。

聯(lián)合騰訊Robotics X 實(shí)驗(yàn)室 “智能體動(dòng)作生成技術(shù)”雙向賦能游戲及機(jī)器人領(lǐng)域

J3的在研PvE射擊產(chǎn)品《逆戰(zhàn)手游》，則在AI動(dòng)作生成技術(shù)領(lǐng)域取得了一定的研發(fā)突破。PvE游戲內(nèi)的戰(zhàn)斗、成長與探索中，大量的Boss、小怪、NPC等角色的演出與戰(zhàn)斗至關(guān)重要，這些都是向玩家提供沉浸式內(nèi)容體驗(yàn)的核心組成部分。業(yè)內(nèi)傳統(tǒng)的動(dòng)作方案主要是狀態(tài)機(jī)，更多依靠龐大的行為樹和動(dòng)畫資源堆疊而成；近年來，也有海外廠商陸續(xù)開始實(shí)踐更先進(jìn)高效的生成方案，比如荒野大鏢客采用了動(dòng)作匹配技術(shù)(Motion Matching)、FIFA 22所運(yùn)用的HyperMotion等前沿探索。

逆戰(zhàn)手游團(tuán)隊(duì)將動(dòng)作生成的研究方向放在了ARNN（Auto Regressive Neural Network）模型，即自回歸神經(jīng)網(wǎng)絡(luò)算法模型上。這是一種廣泛應(yīng)用于分析和處理時(shí)間序列數(shù)據(jù)的算法，經(jīng)常用在天氣、股市預(yù)測等場景。簡單來說，如果能將其用在動(dòng)作領(lǐng)域，就能實(shí)現(xiàn)通過大量真人動(dòng)捕輸入數(shù)據(jù)訓(xùn)練，讓AI模型預(yù)測出的動(dòng)作序列幀的下一幀，最終連貫生成完整、自然的動(dòng)作。

ARNN（Auto Regressive Neural Network）模型

2019年起，逆戰(zhàn)手游聯(lián)手騰訊Robotics X 實(shí)驗(yàn)室，基于ARNN模型的研究，開啟并逐漸完成了游戲及機(jī)器人領(lǐng)域的交叉前沿技術(shù)——“智能體動(dòng)作生成技術(shù)”研發(fā)。該技術(shù)以ARNN模型原理為基石，學(xué)習(xí)動(dòng)作捕捉數(shù)據(jù)，通過數(shù)據(jù)驅(qū)動(dòng)的自適應(yīng)算法，讓NPC或機(jī)器人能根據(jù)玩家操作或環(huán)境變化等外界不同反應(yīng)，自動(dòng)生成更像真實(shí)生物的動(dòng)作、反應(yīng)與表達(dá)。

這預(yù)計(jì)將是自回歸神經(jīng)網(wǎng)絡(luò)算法在網(wǎng)游動(dòng)作生成領(lǐng)域的首次真正運(yùn)用落地。研發(fā)進(jìn)程中，最大的難點(diǎn)在于，如何將算法應(yīng)用于網(wǎng)絡(luò)游戲制作的生態(tài)中：團(tuán)隊(duì)從零到一搭建了配套的工具鏈，并在動(dòng)作捕捉、動(dòng)畫預(yù)處理、持續(xù)訓(xùn)練與調(diào)優(yōu)三個(gè)步驟中做了大量的投入與研究。而面對(duì)網(wǎng)游中AI動(dòng)作生成的網(wǎng)絡(luò)同步及性能優(yōu)化問題，研發(fā)人員采用了軌跡匹配技術(shù)、融合動(dòng)畫及相應(yīng)算法層面的解決方案，優(yōu)化整體效果表現(xiàn)和神經(jīng)網(wǎng)絡(luò)推理的開銷，目前也已達(dá)到非常不錯(cuò)的性能測試效果。

對(duì)《逆戰(zhàn)手游》而言，新技術(shù)的運(yùn)用將伴隨著更自然的游戲內(nèi)基礎(chǔ)動(dòng)作表現(xiàn)、更精彩與沉浸的戰(zhàn)斗體驗(yàn)，與此同時(shí)，該技術(shù)也能在玩家包體大小優(yōu)化、研發(fā)產(chǎn)能提效等維度作出助力。在現(xiàn)場，于棟分享了一些技術(shù)效果示意，可以看到，在運(yùn)用了這項(xiàng)技術(shù)的多小怪同屏追逐效果動(dòng)畫中，AI實(shí)時(shí)生成的小怪角色動(dòng)作表現(xiàn)非常生動(dòng)、多樣化。

智能體動(dòng)作生成技術(shù)下的同屏多小怪追逐效果示意

智能體動(dòng)作生成技術(shù)在機(jī)器人領(lǐng)域的跨行業(yè)運(yùn)用上，也有著非常出色的表現(xiàn)與進(jìn)展。這項(xiàng)技術(shù)也同時(shí)被應(yīng)用于騰訊Robotics X實(shí)驗(yàn)室研發(fā)的自研四足機(jī)器人Max上。一方面，它幫助著機(jī)器人提升思考能力，讓其能在持續(xù)訓(xùn)練下實(shí)現(xiàn)更自然流暢的運(yùn)動(dòng)軌跡、更細(xì)顆粒動(dòng)作的智能生成、控制與決策；另一方面，借助實(shí)時(shí)物理模擬技術(shù)，研究團(tuán)隊(duì)可以在游戲中快速建立逼真、復(fù)雜多樣化的機(jī)器人虛擬訓(xùn)練場景，加上游戲引擎的加速能力，能夠大幅縮短機(jī)器人的訓(xùn)練過程和時(shí)間。

騰訊自主研發(fā)四足機(jī)器人 Max

目前，智能體動(dòng)作生成技術(shù)已有若干專利在申請(qǐng)流程中。未來，在游戲領(lǐng)域，這項(xiàng)技術(shù)或可復(fù)用至更多寫實(shí)風(fēng)格游戲的整體動(dòng)作生成，推動(dòng)行業(yè)技術(shù)與用戶體驗(yàn)的雙重進(jìn)步；而在游戲外的現(xiàn)實(shí)世界，隨著機(jī)器人自研進(jìn)程的進(jìn)一步推進(jìn)，它或許也有機(jī)會(huì)在科研、養(yǎng)老、惠民服務(wù)等跨領(lǐng)域行業(yè)中創(chuàng)造出更大的價(jià)值。

用游戲技術(shù)，讓機(jī)器人變得更“聰明”

暢想FPS AI新生態(tài) 展望人工智能新時(shí)代

在本次論壇中，于棟也發(fā)表了對(duì)游戲AI技術(shù)未來發(fā)展的一些暢想。

暢想之一，是研發(fā)流程中的AI自動(dòng)化測試。測試自動(dòng)化程度是DevOps領(lǐng)域非常重要的指標(biāo)，但邏輯復(fù)雜、內(nèi)容豐富度高的PvE游戲如要實(shí)現(xiàn)工業(yè)軟件級(jí)別的自動(dòng)化測試，難度較高。

但在未來，當(dāng)AI逐漸具備感知環(huán)境氛圍能力、即時(shí)分析能力、對(duì)測試邊界和條件有自主決策能力時(shí)，或許這個(gè)場景就得以成真：輸入一段任務(wù)，AI便可以像真人一樣在游戲執(zhí)行指令、探索體驗(yàn)，還能生成詳細(xì)的測試與反饋報(bào)告。這將大幅提升游戲測試的質(zhì)量和效率，助推游戲品質(zhì)的保障與提升。

另一個(gè)暢想則關(guān)于AI NPC生態(tài)，這也是近期業(yè)內(nèi)非常熱門的話題，比如今年就有一篇題為Generative Agents的論文，講述了斯坦福大學(xué)和谷歌研究人員的一項(xiàng)“虛擬小鎮(zhèn)”中25個(gè)AI智能體“自主生存”的實(shí)驗(yàn)，引發(fā)了行業(yè)內(nèi)極大的關(guān)注與討論。當(dāng)AI隨著逐步發(fā)展，能夠擁有更強(qiáng)化的自然語言、行為決策及社交能力時(shí)，也許在虛擬世界構(gòu)建一個(gè)真正的AI NPC自運(yùn)轉(zhuǎn)生態(tài)，便不是幻想。

Generative AgentsGenerative Agents: Interactive Simulacra of Human Behavior

新世代的游戲，已經(jīng)站在了變革的風(fēng)口。AI為游戲的開發(fā)與創(chuàng)造帶來了廣袤的想象空間，我們也期待著，在技術(shù)的演化下，國產(chǎn)游戲能夠不斷推進(jìn)前沿的探索并實(shí)現(xiàn)突破，創(chuàng)造更多獨(dú)特、真實(shí)而充滿深度的游戲虛擬世界。而到那一天，我們也相信，游戲AI+科技必然能夠打破傳統(tǒng)場景，帶來現(xiàn)實(shí)世界中無限跨領(lǐng)域科技創(chuàng)新的可能性。