万物皆可《毁灭战士》，专家利用 GPT-4V 模型运行该游戏
IT之家3月13日消息，英国约克大学研究员AdriandeWynter近日发表研究论文《WillGPT-4RunDOOM?》，探讨了如何让GPT-4V模型来玩《毁灭战士》游戏。
deWynter为此设计了一个系统，使用GPT-4V（GPT4的多模态衍生版本。可以接收图像作为输入）捕捉游戏引擎的画面截图，并返回游戏状态的结构化描述。
他设计了一个Agent模型，根据视觉输入信息。并对比此前历史记录作出决策，并将其反应转化为《毁灭战士》游戏可以理解的按键命令。
简单地说，系统会截取游戏截图，并利用这些截图找出游戏中发生的事情。然后，它利用系统的另一部分，即代理模型，来决定游戏的下一步行动。Agent模型将其决策转化为游戏可以理解的命令，比如按哪个键。
根据测试结果，目前GPT-4V运行《毁灭战士》游戏存在几个问题：
GPT4缺乏对象永久性，这意味着游戏中的敌人没有出现在屏幕画面中，它会忘记他们。
GPT4在推理和清晰解释自己的行为方面也很吃力，经常提供错误信息。
尽管存在这些局限性，但deWynter认为，GPT4能够在没有事先训练的情况下玩DOOM，这一点非常了不起。
IT之家附上论文参考