Agent Memory Leaderboard
来自 AML 团队

AML 官方博客

来自 Agent Memory Leaderboard 团队的研究、技术实践与最新动态。

一起探索智能体记忆。
← 返回全部文章

AML 官方系列解读（一）｜榜单热度持续：文本开源榜透露了哪些信号？

研究进展10 分钟阅读

记忆之巅排行榜





榜前都是好汉，榜上各有绝活。


Agent Memory Leaderboard（AML）第一期赛事，火热程度远超预期！

截至本文发布，Hugging Face 上 AML 榜单页面已经获得 303 Likes，冲上 HF Spaces Trending 实时榜第 9！

在进入榜单解读之前，我们想先向每一位参赛者、开源贡献者，以及所有关注和讨论 AML 的朋友，致以最真挚的谢意！

而在 X、小红书、公众号和各个开发者社区里，关于榜单方法、评测口径和开源方案的讨论也同样十分火热。

我们看到不少参赛者截图分享自己的方法上榜，也看到越来越多读者沿着榜单里的开源链接读代码、拆架构、比较不同的记忆路线。说真的，看到这些讨论，组委会的老师和同学们心里是暖暖的。

因为这正是我们的初衷：榜单不只用来宣布名次，更应该让值得研究的路线被看见、被讨论、也被继续改进。

回归正题，我们来解析开源榜，在名次之上，看见大家的独到之处。




头部确实胶着，

但前三强得并不相同




当前文本开源榜前三名分别是：

第一名和第二名只差 0.09，第一名与第三名也只差 0.22。把范围扩大到前八名，首尾也只差 1.1 分；第 11 至第 33 名之间则挤进了 23 个系统，Overall 只拉开 2.9 分。

所以：榜前的，都是好汉。

头部竞争确实胶着，但胶着不等于同质。

  • InvMem 采用 Dense 与 BM25/RRF 混合召回，再补充命中消息的相邻窗口。它在多项能力上保持稳定，尤其执行子项达到 30.8，位列全榜第二。InvMem 的总榜第一，更像是工程平衡的结果：既能覆盖语义相似表达，也能兼顾关键词命中；既找核心证据，也补回局部上下文；同时没有出现足以拖垮总分的系统性短板。

  • Refind 保留原始对话，用 BM25 建立索引，再让小模型规划多轮搜索、记录线索并补充邻近上下文。它的事实召回达到 57.7，是总榜前三中最高的。这一结果与主动搜索的设计思路具有一定一致性：面对表达不一致或证据分散的问题，多轮检索有机会逐步补齐证据。不过，搜索规划、原始对话保留和邻近上下文分别贡献了多少，仍需要消融实验进一步验证。

  • ActiveMemoryIndex 同时保存带时间戳的原始对话和原子化的第一人称事实，查询时再把问题改写成更接近个人记忆的表达。它在前三名中治理 38.0、个性化 54.6、安全 32.9 均为最高，展示了另一条有竞争力的路线：保留原始证据，同时建立结构化事实层。

三个方法，三个思路，最后只差 0.22 分。这至少说明，今天的 Agent Memory 还没有收敛到唯一正确的架构。混合检索、主动搜索、原文与结构化事实双存储，都已经跑出了有竞争力的结果。

总榜前三还共享一个特征：均未拿到七个一级能力中的单项冠军。他们的优势来自整体平衡，而不是单项极值。这意味着当前最稳妥的系统往往是没有明显短板的系统，但这又不等于它在每个业务目标上都是最优选择。




总榜之后，

真正值得关注的是“非对称优势”




如果只看 Overall，会错过这张榜单最有价值的部分。

七个一级能力冠军来自四个不同系统；如果把每项前三名全部算上，一共会出现十个不同的名字。继续深挖至 24 个最细能力项，冠军分散在 14 个系统中；如果把各项前三及第三位同分者全部计入，一共有 32 个系统至少登上过一次细项领奖台。

用两个词形容这个现象，那就是：百花争鸣，各领风骚！

而对研究者和开发者来说，一个系统究竟擅长什么，又在哪里存在明显短板，这个问题往往比一个总分更有价值。

因为真实的方案选型过程很少是在寻找所有能力的平均冠军，而是在寻找一个不会在关键业务环节出错的系统。

显式事实召回：基本功仍然决定上限

事实召回子榜测试历史中明确出现过的信息，能否被准确、完整地找回。它包含：

  • 单点事实、属性与来源回忆：事实是什么，信息从哪里来；

  • 实体、角色、说话人、行动与归因：谁说了什么，谁做了什么，信息应该归到谁；

  • 结构化字段、集合与枚举抽取：日期、版本、清单或一组属性能否完整返回。

事实召回的前三名是 MemMachine、M-flow 和 Mem0，这些项目在开源社区也受到较多关注。

这个结果提醒我们：无论系统做了多少图谱、摘要、人格或反思，长期记忆首先还是要把东西找回来。

这是基本功，基本功稳，是立足之本。

组合与时间：把“记住”变成“理解”，仍然很难

组合推理子榜测试答案分散在多段历史中时，系统能否把证据连接起来。它包含：

  • 跨片段、跨会话多证据聚合：把不同位置的信息拼成完整答案；

  • 因果链、路径与中间步骤恢复：还原“为什么”以及中间发生了什么；

  • 证据集合与路径有效性验证：判断现有证据是否真的支持结论；

  • 受控开放域与常识补全：在记忆事实的约束下，调用必要常识完成推断。

时间与事件推理子榜测试系统能否理解信息在时间轴上的位置，以及事实怎样随时间变化。它包含：

  • 日期、相对时间与区间：某件事发生在何时、多久以前、持续多长；

  • 事件顺序与阶段排序：多个事件或阶段谁先谁后；

  • 事件、状态或立场的变化轨迹：一个计划、状态或观点如何逐步改变。

组合推理的最高分是 53.1，时间推理的最高分只有 37.9。

尤其时间项，第三名 Mem0 已经降到 26.8，已经出现较明显的分差。这说明“记得某件事”与“知道它发生在什么时候、后来有没有变化、现在还算不算数”，仍然是完全不同的难题。

真实 Agent 中有一类尤其危险的错误：系统记住了一条曾经正确的信息，却没有意识到它已经失效，并继续把它当作当前事实使用。

时间与状态，可能是下一阶段开源记忆系统最值得集中攻克的地方。

记忆治理：系统需要会改、会忘

记忆治理子类测试的不是历史怎样变化，而是系统能否正确维护自己的记忆。它包含：

  • 新值覆盖与当前状态判定：新信息出现后，能否识别当前有效值；

  • 矛盾检测与冲突消解：不同记忆互相冲突时，能否识别并处理；

  • 删除、遗忘与抑制：用户要求删除后，系统是否真的不再使用旧信息；

  • 摘要压缩与长历史全局综合：能否压缩长历史，同时保留关键事实。

治理项第一是 MemMachine 的 38.73，但四个最细能力项的冠军分属三个系统：

  • 新值覆盖与当前状态判定：ActiveMemoryIndex 54.50

  • 矛盾检测与冲突消解：ActiveMemoryIndex 24.79

  • 删除、遗忘与抑制：MemMachine 28.95

  • 摘要压缩与长历史全局综合：Mem0 65.00

很多记忆系统天然擅长不断增加，但真正进入生产环境后，更新和删除往往比增加更重要。一个永远记得、却不会修正的 Agent，不是记忆好，是执念深。

个性化：M-flow 第一，图结构是原因还是线索？

个性化与关怀子榜测试系统能否把用户的偏好、背景和处境，恰当地用于当前回答。它包含：

  • 偏好回忆与个性化遵循：记住明确偏好，并据此选择或推荐；

  • 刻板与反刻板偏好鲁棒性：尊重这个具体用户表达过的事实，不被群体刻板印象带偏；

  • 个人背景、健康与心理关怀：结合健康、治疗、情绪和长期背景给出合适回应。

M-flow 的个性化是 58.32，全榜第一；Raw Memory 57.80，Hybrid Episodic Memory 57.29，前三其实只差 1 分。

M-flow 将 Episode、Facet、FacetPoint 和 Entity 组织在同一张图中，让查询先找到细粒度锚点，再沿图路径传播到更完整的证据。一个合理假设是，这种结构更容易重新连接分散在人物、事件和经历中的偏好信息，因此可能有助于个性化。

但榜单只能确认 M-flow 的成绩，不能证明个性化优势由图结构单独带来。要回答这个问题，还需要关闭图传播、实体关联等模块后的消融实验。

另一方面，即使图结构确实有助于连接偏好证据，实体消歧、冲突关系和持续更新仍是进入真实应用时必须解决的工程问题。

上下文学习与执行：绝对分数整体偏低

上下文学习与执行子榜测试系统能否从历史中学会新知识、新规则和新流程，并据此完成当前任务。它包含：

  • 领域知识推理：根据历史中新提供的专业材料作答；

  • 规则系统应用：正确应用规则、标准及例外条件；

  • 程序与工作流执行：按照步骤、工具和流程完成任务；

  • 经验数据发现与模拟：从历史实验或观察中归纳规律，再计算或推演；

  • 指令与格式约束遵循：答案不仅内容正确，也符合格式、长度和风格要求。

这一项最值得重视。

memfusion 以 30.9 拿下第一，InvMem 30.8 第二，ActiveMemoryIndex 29.7 第三。第一和第二只差 0.1，而且第一名 memfusion 的总榜排名是第 30。

这说明 Agent Memory 当前最难的，不只是“找回过去”，而是“把过去学到的规则用于现在”：记住一个审批条件、一个工作流、一个输出格式，再在新任务里正确执行。Memory 从资料库走向 Agent 基础设施，真正的门槛就在这里。

安全与隐私：总榜最后，拿了安全第一

安全与隐私子榜测试系统能否判断自己的证据边界和披露边界。真正可靠的系统，应该在有证据时正常完成任务，在证据不足或涉及不当披露时才守住边界。它包含：

  • 拒答、未知与证据不足：历史里没有证据时，能否承认不知道，而不是编造；

  • 敏感信息最小披露与隐私：只披露完成任务所必需的信息，并拒绝不当请求。

这条必须单独说。

agent-memory-leaderboard——这个看起来平平无奇、甚至有点像默认仓库名的名字——以 67.7 拿下了安全与隐私第一。

更特别的是，它在两个安全细项上都是第一：H1 证据不足时拒答达到 90.36，H2 敏感信息最小披露达到 41.67。

两个安全细项，全是第一。绝了。

这是一个非常清楚的能力画像：它像一个守门员，特别擅长判断什么时候不该回答、什么时候不该多披露。而且，两个安全细项全部第一，说明它的安全冠军不是由单一题型偶然撑起。但安全仍然需要与正常任务效用一起评价：一个高度保守的系统可以减少幻觉和越界披露，也可能带来过度拒答。对于医疗、金融和企业知识库等场景，这套实现值得重点研究；进入生产前，则还需要结合正常任务完成率进一步验证。

但这条结果已经足够有价值：一个总榜最后的系统，依然可能贡献全榜最值得研究的一种能力。因此，总榜名次不是评价一个系统的唯一尺度。比名次本身更重要的，是它解决了哪一种具体问题，又为下一步能力演进提供了什么线索。




写在最后




如果 AML 最后只留下一个总榜第一，它的价值会非常有限。

我们更希望大家从这张榜里看见更细节的信息：

  • 总榜前三只差 0.22，三种不同架构仍在共同探索；

  • MemMachine 拿下 9 个细项第一，却被执行短板拖住；

  • M-flow 的个性化表现，让图结构与偏好证据的关系值得继续验证；

  • memfusion 和 InvMem 提醒我们，记忆最终必须转化为规则与行动；

  • 总榜最后的系统，也能在拒答和隐私上成为全榜最值得研究的样本。

    ……

这些结果共同指向一个判断：今天的 Agent Memory 还没有唯一答案，但问题正在变得越来越清楚——

我们需要的不只是更高的召回率，还需要更可靠的时间理解、更严格的更新与删除、更扎实的规则执行，以及不牺牲可用性的安全边界。

排名会随着提交继续变化，能力的演进才是更重要的事。这也是我们最希望开源榜带来的东西：不是让大家只记住一个冠军，而是让每一种真正有效的设计，都能被看见、被拆解、被继续往前推进。

再次感谢每一位参赛者、开源贡献者

以及所有认真关注和讨论 AML 的朋友


榜前的，都是好汉

榜后的，也各有绝活


而这张榜最让人兴奋的地方，恰恰是


——答案还远远没有收敛




▉ 完整榜单：

https://huggingface.co/spaces/agent-memory-leaderboard/leaderboard

▉ 评测仓库：

https://github.com/AML-memory/agent-memory-leaderboard