在人工智能领域，大模型的应用正不断拓展，从围棋到电脑游戏，其能力边界持续被探索。近期，一项关于多模态大模型在国产游戏《黑神话：悟空》中的研究引起了关注。该研究由淘天集团未来生活实验室的算法工程师团队完成，成果已在论文预印本网站arXiv发布。
《黑神话：悟空》作为动作角色扮演类游戏的代表，被选为测试大模型性能的平台。研究团队面临两大挑战：直接视觉输入和复杂动作任务的执行。为克服这些难题，团队提出了VARP Agent新框架。
VARP Agent框架以游戏截图为输入，通过多模态大模型的推理生成操作代码。这些代码由各种原子命令组合而成，如轻攻击、躲避等。框架还包含情境库、动作库和人类引导库，用于存储和更新知识。
在技术团队设定的任务中，VARP Agent在基本任务和简单到中等难度的战斗中表现出色，胜率高达90%。然而，在面对高难度任务时，其表现仍不如高水平人类玩家。
尽管如此，该研究成果为设计更复杂、能应对更广泛挑战的智能体提供了有益参考。
