本周來自谷歌公司和特拉維夫大學(xué)的研究人員發(fā)表了一篇名為《Diffusion模型是實(shí)時(shí)游戲引擎》的論文，介紹了計(jì)算機(jī)歷史上第一個(gè)完全由神經(jīng)網(wǎng)絡(luò)模型支持的游戲引擎GameNGen。

研究人員在論文中寫道：“今天，電子游戲是由人類編程的，GameNGen是游戲引擎新范式的部分概念驗(yàn)證——游戲?qū)?huì)變成神經(jīng)模型的權(quán)重，而不是代碼行。”

換一種更容易理解的說法，目前所有的電子游戲都是預(yù)先設(shè)計(jì)好的，開發(fā)者需要編寫代碼、準(zhǔn)備游戲文本和貼圖模型，然后放置在游戲地圖上——游戲畫面的渲染和狀態(tài)更新取決于手動(dòng)編輯的規(guī)則。但GameNGen模型打開了一個(gè)完全不同的思路：使用AI生成模型，根據(jù)玩家的動(dòng)作和反應(yīng)，實(shí)時(shí)演算和生成游戲畫面。

在演示中，研究人員通過機(jī)器學(xué)習(xí)，讓GameNGen模型成功實(shí)時(shí)生成90時(shí)代的第一人稱射擊游戲《毀滅戰(zhàn)士》。視頻顯示，在AI生成的游戲中，玩家可以在場(chǎng)景中轉(zhuǎn)彎、發(fā)射武器，同時(shí)能夠準(zhǔn)確反映剩余的子彈數(shù)量、遭到攻擊后的剩余血量，以及是否滿足打開下一個(gè)關(guān)卡所需的條件。

需要注意的是，上面看到的一系列畫面，完全是AI實(shí)時(shí)生成的圖像。最新的進(jìn)展也顯示，AI模型繼成功生成文字、圖像、音頻和短視頻后，可能存在生成游戲場(chǎng)景的能力，這對(duì)邏輯性、連貫性和實(shí)時(shí)交互的要求明顯高出一大截。

他們是怎么做到的？

研究團(tuán)隊(duì)介紹稱，為了訓(xùn)練這個(gè)能實(shí)時(shí)生成游戲的AI，首先需要訓(xùn)練一個(gè)強(qiáng)化學(xué)習(xí)（RL）代理來玩游戲，然后使用錄制下來的片段來訓(xùn)練生成擴(kuò)散模型，根據(jù)過去的畫面和玩家動(dòng)作來預(yù)測(cè)接下來的畫面，這也是為什么AI生成的游戲能夠展現(xiàn)生命值和彈藥的變化，以及敵人受到攻擊的動(dòng)畫。

更大的挑戰(zhàn)在于讓AI生成的圖像保持時(shí)間和邏輯上的連貫性。為了減輕推理過程中的自回歸漂移，研究人員在訓(xùn)練期間通過向編碼幀添加高斯噪聲破壞上下文幀，允許AI更正前幾幀中采樣的信息，從而長時(shí)間保持圖像生成的穩(wěn)定性。

研究人員披露，跑這個(gè)模型只需要單個(gè)TPU（谷歌自研AI處理器），就能實(shí)現(xiàn)每秒20幀的生成速度。

當(dāng)然，上面這幾段話也展現(xiàn)出GameNGen的局限性：這個(gè)AI必須依靠輸入已有的游戲（或文字、圖片等材料）來生成游戲。

英偉達(dá)高級(jí)研究經(jīng)理&具身智能集團(tuán)主管Jim Fan博士在社交媒體上評(píng)論稱，GameNGen更像是一個(gè)神經(jīng)輻射場(chǎng)（NeRF），而不是一個(gè)視頻生成模型。神經(jīng)輻射場(chǎng)通過從不同角度拍攝場(chǎng)景的圖像，從而生成場(chǎng)景的3D展示。但這也意味著模型不具備泛化能力，無法“想象”新的場(chǎng)景。這也是GameNGen與Sora的不同點(diǎn)：它無法生成新的場(chǎng)景或交互機(jī)制。

研究人員也在論文中提到這一點(diǎn)，解釋稱借助該技術(shù)，未來的游戲開發(fā)者將能通過“文本描述和示例圖像”來創(chuàng)建新游戲，人們將有可能僅根據(jù)示例而不是編程技能，將一組精致的圖像轉(zhuǎn)化為現(xiàn)有游戲的新可玩關(guān)卡或角色。

由AI渲染來進(jìn)行實(shí)時(shí)游戲并不是一個(gè)全新的想法。在今年3月發(fā)布最新一代Blackwell架構(gòu)芯片時(shí)，英偉達(dá)CEO黃仁勛就曾預(yù)言，大概在5-10年內(nèi)就能看到完全由AI生成的游戲。

事實(shí)上，朝著這個(gè)方向前進(jìn)的不只是谷歌團(tuán)隊(duì)，OpenAI在今年首次發(fā)布Sora演示時(shí)，也曾展現(xiàn)過模擬像素游戲《我的世界》的能力。

最新的進(jìn)展，也恰好迎合了米哈游前董事長蔡浩宇近期引發(fā)熱議的“勸退”言論。

蔡浩宇本周公開發(fā)聲稱，AIGC已經(jīng)徹底改變了游戲開發(fā)，現(xiàn)在只需要時(shí)間讓這種現(xiàn)象完全展開。他認(rèn)為，未來只有兩種游戲開發(fā)者具有繼續(xù)從業(yè)的意義——前0.0001%的天才，以及99%的業(yè)務(wù)愛好者創(chuàng)作滿足自己需求的游戲。至于剩下的“從普通到專業(yè)”的游戲開發(fā)者，大家還是趁早轉(zhuǎn)行吧。