其中，美国人工智能初创公司Anthropic发布Claude 3.7表现最好，其次是Claude 3.5。谷歌的Gemini 1.5 Pro 和Open AI 的 ChatGPT 4.0苦苦挣扎。研究团队内部开发的GamingAgent，为AI提供基本指令，例如“如果附近有障碍物或敌人，请向左移动或者跳跃以躲避”。AI则以Python代码的形式生成输入来控制马里奥。
有趣的是，实验室发现，像ChatGPT这样的推理模型，即逐步“思考”问题以得出解决方案，表现得比“非推理”模型差，尽管它们通常在大多数基准测试中更强。
研究人员表示，推理模型在玩这类游戏时遇到困难的主要原因是，它们需要一段时间（通常是几秒钟）来决定行动。
但在《超级马里奥兄弟》中，时间就是一切，一秒钟可能意味着安全完成跳跃和坠落致死之间的区别。
几十年来，游戏一直被用来对 AI 进行基准测试。但一些专家质疑，他他们认为将人工智能的游戏技能和技术进步联系起来是否明智。
编译/潇湘晨报记者傅圆圆