加利福尼亞大學圣地亞哥分校的 Hao 人工智能實驗室（Hao AI Lab）上周五開展了一項獨特的研究，將人工智能（AI）引入經(jīng)典游戲《超級馬力歐兄弟》中，以測試其性能表現(xiàn)。研究結果顯示，在參與測試的 AI 模型中，Anthropic 的 Claude 3.7 表現(xiàn)最為出色，緊隨其后的是 Claude 3.5。相比之下，谷歌的 Gemini 1.5 Pro 和 OpenAI 的 GPT-4o 則表現(xiàn)不佳。

需要明確的是，此次實驗所使用的并非 1985 年最初發(fā)布的《超級馬力歐兄弟》版本。游戲運行在一個模擬器中，并通過一個名為 GamingAgent 的框架與 AI 進行連接，從而讓 AI 能夠控制馬力歐。GamingAgent 由 Hao 人工智能實驗室自主研發(fā)，其向 AI 提供基本指令，例如“如果附近有障礙物或敵人，向左移動或跳躍以躲避”，同時還提供游戲內(nèi)的截圖。隨后，AI 通過生成 Python 代碼的形式來操控馬力歐。

據(jù)實驗室介紹，該游戲環(huán)境迫使每個 AI 模型“學習”如何規(guī)劃復雜的操作并制定游戲策略。有趣的是，實驗發(fā)現(xiàn)像 OpenAI 的 o1 這樣的推理模型（它們通過逐步思考問題來得出解決方案）表現(xiàn)不如“非推理”模型，盡管它們在大多數(shù)基準測試中通常表現(xiàn)更強。研究人員指出，推理模型在實時游戲中表現(xiàn)不佳的主要原因之一是它們通常需要花費數(shù)秒時間來決定行動。而在《超級馬力歐兄弟》中，時機至關重要，一秒鐘的差別可能意味著安全跳過和墜落死亡的不同結果。

數(shù)十年來，游戲一直是衡量 AI 性能的重要工具。然而，一些專家對將 AI 在游戲中的表現(xiàn)與技術進步直接掛鉤的做法提出了質(zhì)疑。與現(xiàn)實世界相比，游戲往往是抽象且相對簡單的，并且能夠為 AI 訓練提供理論上無限的數(shù)據(jù)。

IT之家注意到，最近一些引人注目的游戲基準測試結果引發(fā)了 OpenAI 研究科學家、創(chuàng)始成員安德烈?卡帕西（Andrej Karpathy）所說的“評估危機”。他在 X 平臺上發(fā)表的一篇帖子中寫道：“我目前真的不知道該關注哪些 AI 指標?！彼偨Y道：“我的反應是，我目前真的不知道這些模型到底有多好?！?/p>