这项由斯坦福大学团队完成的研究以预印本形式发布于2026年7月1日，论文编号为arXiv:2607.01224，有兴趣深入了解的读者可以通过该编号查询完整论文。

【资料图】

人类有一种奇妙的能力，叫做"元记忆"——你知道自己记住了什么、忘记了什么，以及什么值得记下来。备考时，你不会把课本上每一个字都背下来，而是选择重点内容记在笔记本上，考试前翻开笔记，找到最关键的那几页。这种"知道如何记忆"的能力，让人类在信息管理上极为高效。

现在的AI语言模型（比如ChatGPT这类系统）却面临一个根本性的困境：它们的"工作记忆"是有限的。就像一张只有固定大小的桌面，桌面摆满了就没法再放新东西。对于需要长时间持续工作的任务——比如玩一个需要探索、规划、战斗的复杂游戏——这个有限的桌面根本放不下所有需要记住的信息。

斯坦福大学的研究团队做了一件有趣的事：他们给AI配备了一个"文件系统"作为外部记忆——就像给AI一个可以随时翻看的笔记本——然后让AI自己学会怎么用这个笔记本。更重要的是，他们设计了一套名为AUTOMEM的自动化训练框架，让AI的记忆管理能力可以像人学会做笔记一样，通过练习和反馈不断进步。

结果出人意料：仅仅通过优化这个"记笔记"的能力，不改变AI处理游戏任务的核心逻辑，一个320亿参数的开源模型的表现翻了2到4倍，甚至追上了Claude Opus 4.5和Gemini 3.1 Pro Thinking这类顶级商业模型。这意味着，如何管理记忆，可能比模型本身有多大更重要。

一、为什么AI的"健忘症"是一个大问题

普通人每天都在处理超出当下注意力范围的信息。你不可能一边开车一边在脑子里同时记住所有路况、目的地、油量、同行乘客的对话，以及明天的日程安排。正因如此，人类发展出了各种外部辅助工具——便条、日历、地图、购物清单。这些工具不是记忆的替代品，而是记忆的延伸。

AI语言模型在这一点上面临类似的挑战。它们的"上下文窗口"就是那张有限的桌面，一旦超出容量，早期的信息就会被挤出去。对于简单的问答任务，这不是问题；但对于需要数千步、甚至数万步才能完成的长时间任务，这个限制就会变得致命。

研究团队选择了三款游戏来测试这个问题，这三款游戏的设计天然契合"长时记忆"的研究需求。第一款是Crafter，一个2D开放世界生存游戏，玩家需要探索地图、收集资源、合成工具、与怪物战斗，完成22项成就，通常需要数千步才能完成。第二款是MiniHack，一套由8个小关卡组成的谜题游戏，需要导航迷宫、解决谜题，每关大约需要数百步。第三款是NetHack，这款游戏堪称最复杂的挑战——一场游戏可能需要一万到十万步，人类玩家通常要花数年时间才能掌握。三款游戏有一个共同特点：每次开局的地图都是随机生成的，AI不能依赖"死记硬背"之前见过的地图，必须实时学习和记录。

在这样的环境下，如果AI的记忆只能装下最近几十步发生的事情，它很快就会迷路、重复走已经走过的路、忘记之前学到的战斗规律，最终在一片混乱中失败。

二、给AI配备一个"文件柜"——记忆即行动

研究团队提出的核心思路是：不要把记忆当成一个固定的系统组件，而是把它当成一种可以学习的技能。

具体做法是，给AI配备一个真实的文件系统——就像电脑上的文件夹，里面可以存放各种文本文件。这个文件夹就是AI的"外部笔记本"。AI可以对这个笔记本执行五种基本操作：读取文件、写入文件、搜索内容、追加内容、创建新文件。

关键的设计在于：这五种文件操作和游戏中的实际操作（向北走、攻击怪物、合成工具）被放在同一个"动作菜单"里。这意味着，当AI在每一步决定做什么时，它可以选择向北走，也可以选择往笔记本上记一条信息，或者翻开笔记本查看之前记下的内容。记忆管理不再是一个隐藏在后台自动运行的机制，而是AI明确决定要不要做、怎么做的一个显式选择。

研究团队把每一步的操作分成两个阶段。第一个阶段叫做"记录"（LOG），核心问题是：刚才发生的事有什么值得记下来的？比如，AI刚刚遇到了一只豺狼并且被咬了一口，它可能会选择在"怪物遭遇记录"文件里追加一条：豺狼（符号d）在相邻格子会发动攻击，造成伤害。第二个阶段叫做"规划"（PLAN），核心问题是：我现在需要回忆什么才能做出正确的决定？比如，AI手里拿着一把剑，想确认用剑攻击的方式，它会去搜索"游戏规则"文件，找到"近战攻击=移动到怪物所在格子"，然后决定向东走以杀掉那只豺狼。

这种设计让记忆管理变得完全透明、可追踪。AI的每一个记忆决定都以动作的形式留在轨迹记录里，就像一份完整的审计日志。

三、两个问题，两个优化循环

给AI配备了文件系统之后，研究团队意识到，记忆能力的提升面临两个完全不同的挑战。

第一个挑战是"结构"问题。就像不同的笔记方式会影响你复习的效率——有人乱记一气，有人分类整理，有人用思维导图——AI的记忆文件是如何组织的、AI被告知要记什么类型的信息，会直接影响记忆的有效性。这些结构性的设置（提示词、文件格式、可用的操作类型）需要不断优化。

第二个挑战是"熟练度"问题。即使给了AI最好的笔记本和最好的笔记格式，AI本身也需要学会什么时候该记、记什么、查什么。这是一种参数层面的能力，需要通过训练来提升。

两个挑战都有一个共同的障碍：人类根本没法手动检查。一场NetHack游戏可能有十万步，一个记忆错误可能在第50步发生，但要到第800步才能看出它的危害——当AI在某个本该熟悉的区域迷路时，你才意识到它当初没有记下地图坐标。让人类逐步回看这样的轨迹，在时间上几乎是不可能完成的任务。

AUTOMEM框架的核心洞察是：用另一个足够强大的AI（称为"元AI"）来充当审阅者。这个元AI可以读入完整的游戏轨迹记录，就像一个程序员审查代码执行日志一样，找出记忆管理中哪里出了问题，然后提出改进方案。基于这个洞察，AUTOMEM设计了两个互相配合的优化循环。

四、第一个循环：让"结构"越来越聪明

第一个优化循环专注于优化记忆的结构，也就是AI的"脚手架"——包括代码逻辑、提示词、文件格式、可用操作的定义。

每次迭代的流程是：让AI玩若干局游戏，把完整的游戏轨迹（包括每一步的观察、AI的决策、文件内容的变化）交给元AI审阅，元AI诊断出问题所在，然后重写脚手架，再测试新版本是否比旧版本更好。只有当新版本在相同游戏场景下的平均进度得分明显提升时，这次改动才会被保留；否则，元AI会再试一次或从头开始。

以NetHack为例，元AI在审阅早期版本的游戏轨迹时发现了一个严重问题：AI的地图文件采用的是简单的"追加"方式——每次它看到某个坐标的地图信息，就在文件末尾加一行记录。这导致同一个坐标（比如44号列、19号行的格子）可能被记录了几十次甚至上百次，因为AI反复经过那里。当文件里塞满了成千上万行重复信息时，有用的内容就淹没在噪声里了。

元AI的解决方案是引入一种新的操作，叫做"坐标键值更新"（UPSERT_MAP）——每次记录某个坐标的信息时，如果这个坐标已经存在，就直接覆盖旧记录，而不是追加。这样，地图文件永远只有每个坐标的最新状态，文件大小得到了极大的控制，AI从每步增长138个字符降低到增长6个字符，减少了95%。

类似的优化在三款游戏中各自展开。对于Crafter，元AI逐步引入了游戏知识预加载（把合成配方和生存规则提前写入文件）、成就进度追踪文件、背包变化提示、合成可行性验证（防止AI尝试用根本没有的材料去合成物品）等改进。对于MiniHack，元AI增加了已访问格子的追踪、方向禁区的标记、特定任务的规则说明，以及对来回踱步行为的检测和打断机制。

经过几轮迭代之后，游戏表现就已经出现了显著提升，仅仅改变代码和提示词，不改变任何模型权重，三款游戏的进度分别翻了接近两倍、三倍半和三倍半。

五、第二个循环：让"熟练度"真正内化进大脑

脚手架的优化是有天花板的——当代码和提示词已经足够完善，剩下的差距就来自于模型本身有没有学会正确地使用这个记忆系统。这就是第二个优化循环要解决的问题。

第二个循环的思路是：从AI自己玩游戏的记录里，挑出那些记忆操作做得好的片段，用这些片段来训练AI，让好的记忆习惯内化成AI的"本能"。

具体操作分三个阶段。首先是大规模数据收集：让AI在最终版本的脚手架下玩大量游戏（Crafter玩100局，MiniHack每个任务玩50局共400局，NetHack玩50局），把这些游戏的完整轨迹保存下来，形成一个"经验池"。其次是数据筛选：再次请出元AI，让它从经验池里挑选出记忆操作做得好的片段——什么叫做得好？元AI根据脚手架中对记忆行为的要求来判断，比如，在写入新内容之前先搜索确认有没有重复，用正确的格式记录地图坐标，在适当的时机读取策略文件等。最后是专项训练：把筛选出来的好片段作为训练数据，用一种叫LoRA的轻量级微调技术，专门训练一个负责记忆操作的"记忆专家"模型。

这里有一个关键的设计决策：训练只针对记忆操作，不涉及游戏行动本身。研究团队把AI拆分成了两个独立运行的实例：一个是"记忆专家"，负责LOG和PLAN阶段的记忆操作，这个模型接受了专项训练；另一个是"游戏模型"，负责最终的游戏动作决策，这个模型的权重完全不动。两个实例共享同一段对话历史，记忆专家完成记忆操作后，把对话交接给游戏模型，游戏模型在此基础上做出动作决策。

这种分离设计的好处是双重的。训练信号保持高度聚焦，每一步梯度更新都在改善记忆能力，不会被游戏动作的格式要求稀释。同时，游戏模型的动作能力得到了完整保留，因为它的权重从未被触碰过，所以记忆能力的提升会干净地叠加在之前脚手架优化的基础上，而不是与它产生冲突或抵消。

六、数据说话：究竟改进了多少

从数字层面看，完整AUTOMEM框架带来的提升非常直观。起点是采用最基础文件系统记忆的初始版本，Crafter得分25.0%，MiniHack得分7.5%，NetHack得分0.42%。经过脚手架优化后，Crafter涨到47.27%，MiniHack涨到27.5%，NetHack涨到1.57%。再加上记忆专项训练，最终分别达到51.36%、30.0%和1.85%。

与其他系统相比，这些数字更具说服力。同系列的720亿参数大模型Qwen2.5-72B-Instruct在三款游戏上的得分分别是27.3%、5.0%和0.3%，而经过AUTOMEM优化的320亿参数模型全面超越了它。换句话说，一个参数量只有对手一半的模型，因为学会了更好地管理记忆，在所有三款游戏上都大幅胜出。这直接证明了"记忆管理"比"模型规模"更具杠杆效应。

与顶级商业模型相比，最终结果与Claude Opus 4.5（49.5/27.5/2.0）相当，并接近Gemini 3.1 Pro Thinking（55.0/27.5/2.6）的水平，而这两款模型背后是数以千亿计的参数和庞大的商业投入。

除了总体进度分数，研究团队还追踪了四项行为指标来解释为什么分数会提升。在游戏行动层面，他们统计了"低效动作率"——包括原地踏步（行动后观察完全没变化）和来回折返（最近10步里出现3次以上方向逆转）。优化后，这个比率在三款游戏上分别下降了37%、65%和32%。这意味着AI把过去浪费在重复无效动作上的步数节省了下来，用于真正的探索和推进。

在记忆操作层面，有三个指标同样改善明显。重复写入率（同样内容被反复记录）在三款游戏上分别下降了83%、68%和68%，说明AI不再盲目地往文件里堆积冗余信息。空搜索率（搜索文件却什么都没找到）下降了20%到50%，说明AI开始更精准地查找，知道去哪个文件找什么内容。每步的输入文字量下降了3%到30%，说明更精炼的记忆确实减少了AI需要处理的信息量，腾出了宝贵的注意力空间。

经过专项训练的记忆专家还展现出一个特别有价值的行为习惯：在写入新内容之前，它会先搜索一下文件，确认有没有已经记过类似的内容，然后再决定是追加还是覆盖。这个"查了再记"的习惯，正是脚手架通过提示词建议AI去做的行为，而训练让它真正内化成了模型的自动反应。Crafter中每次搜索对应的写入次数从0.84降到0.39，MiniHack从2.89降到0.82，NetHack从4.66降到1.31，都下降了一半到四分之三。

七、从具体案例看记忆改善的真实效果

三款游戏的代表性案例，把这些抽象的数字变成了具体可感的故事。

在Crafter里，初始版本的AI陷入了一个简单的生存循环：不停地收集木头，但一件工具也合成不出来，最终只完成了22项成就中的2项，进度9%。这是因为它没有系统地记录合成配方，每次想合成东西时都要重新"想想"该怎么做，结果常常做错或者走弯路。经过脚手架优化后，AI开始维护整齐的地图记录和背包记录，成功合成了石器工具，建造了熔炉，并挖到了铁矿，完成了12项成就，进度55%。再加上记忆专项训练，AI在做到同样事情的基础上，还学会了用食物维持自身存活，最终完成13项成就，进度59%。

在MiniHack的Corridor-R3关卡里，这个任务要求AI在一系列分叉走廊中找到出口楼梯，初始版本和脚手架优化版本都用光了步数预算，始终无法到达出口，进度0%。训练后的记忆专家则成功穿越了所有走廊，找到了目标楼梯，完成任务，进度100%。记忆的改善彻底改变了任务成败。

NetHack的案例最能说明"延迟代价"这个问题。初始版本因为只会追加记录地图，文件里堆满了重复数据，有用信息完全被淹没，AI活不过几百步就死了，停留在经验等级1，进度0.42%。脚手架优化引入坐标键值更新之后，AI的地图文件变得清晰可用，它存活了约7000步，爬到经验等级2，进度1.85%。训练后的记忆专家因为养成了"查了再记"的习惯，记录更精准，存活时间大幅延长，达到了经验等级4，积累了更多经验值，进度2.42%。在NetHack这样动辄十万步的游戏里，从经验等级2到经验等级4是一段非常显著的进步。

归根结底，这项研究做的是一件看起来很朴素、却产生了相当显著效果的事：教AI学会做笔记。人类几千年来都知道，好的笔记习惯能让一个普通学生超越那些只靠脑记的聪明人。斯坦福大学的这项研究用数据表明，同样的道理适用于AI——一个学会了合理记录、查阅、整理信息的中等规模模型，在需要长期持续工作的任务上，可以超越一个参数量是它两倍却没有良好记忆管理的大模型，甚至追平需要庞大算力支撑的顶级商业系统。

当然，这项研究也有明确的局限。目前的记忆是每局游戏单独的——游戏结束后，文件清空，下一局从头开始。真正像人类一样跨越时间积累经验的持久记忆，尚未实现。三款游戏各自需要独立优化一套脚手架和记忆专家，一套通用方案能否同时适配多种任务类型，还有待探索。研究场景也仅限于游戏环境，是否能平滑迁移到现实世界的复杂任务，还需要进一步验证。

不过，这项研究提出的基本问题值得继续追问：如果记忆管理是一种可以独立学习的技能，那么还有哪些能力——推理、规划、工具使用——同样可以被拆分出来单独优化？如果每一种能力都能像这样精确打磨，那么AI系统的整体上限又会在哪里？有兴趣深入探索这些问题的读者，可以通过arXiv编号2607.01224找到完整论文，研究团队也公开了代码，地址可通过论文中的链接获取。

Q&A

Q1：AUTOMEM框架的两个优化循环分别是做什么的？

A：AUTOMEM有两个顺序执行的优化循环。第一个循环优化记忆的"结构"，让一个强大的元AI读取完整的游戏轨迹，分析哪些记忆设计有问题，然后自动修改代码、提示词和文件格式，比如引入坐标去重机制。第二个循环优化模型的"熟练度"，从AI自己玩游戏的记录里筛选出记忆操作做得好的片段，用这些片段训练一个专门负责记忆操作的"记忆专家"模型，使好的记忆习惯内化成模型的自动反应。

Q2：为什么优化记忆管理能让小模型超越大模型？

A：在需要长时间持续工作的任务中，有效的记忆管理直接决定AI能利用多少有效信息做决策。如果记忆文件里堆满了重复、无用的内容，即使模型参数再多，也会被错误信息误导、在已探索的地方反复浪费步数。AUTOMEM优化后的320亿参数模型，因为记录精准、查阅高效，实际能利用的有效信息远超靠参数规模堆出来的720亿参数模型，所以在三款游戏上全面胜出。

Q3：AUTOMEM训练出来的记忆专家和普通AI有什么区别？

A：最明显的区别是"查了再记"的习惯。普通AI往往直接把新信息追加到文件里，不管有没有重复。训练后的记忆专家会在写入之前先搜索一下，确认是否已经有类似记录，再决定追加还是覆盖。以NetHack为例，每次搜索对应的写入次数从4.66降到了1.31，减少了约72%。这让记忆文件保持精简、准确，AI查阅时能更快找到有用信息，也减少了无效信息对决策的干扰。

标签： 游戏 大模型 斯坦福大学 大语言模型 ne