在人工智能领域，大模型挑战电脑游戏的新探索引起了广泛关注。近日，淘天集团未来生活实验室的算法工程师们，利用多模态大模型深入体验了国产电脑游戏《黑神话：悟空》，并在此过程中取得了显著成果。相关研究论文已在论文预印本网站arXiv上发布。
《黑神话：悟空》作为一款动作角色扮演类游戏，成为了众多研究者测试大模型性能的平台。研究团队面临的主要挑战包括直接视觉输入的复杂性和动作任务的执行难度。
为应对这些挑战，技术团队创新性地提出了VARP Agent框架。该框架通过游戏截图输入，结合多模态大模型的推理，生成可直接操作游戏角色的代码。
VARP Agent框架包含情境库、动作库和人类引导库，这些库可存储密集知识，支持自我学习和人类指导。在实验中，该框架在基本任务和简单到中等难度的战斗中表现出色，胜率高达90%。
尽管在面对高难度任务时，VARP Agent的表现相对较差，但整体研究成果仍为设计更复杂、更智能的智能体提供了有益参考。
此次研究展示了多模态大模型在电脑游戏领域的潜力，为未来的智能体设计提供了新的思路。
