LifeSim 用长程生活模拟评测个性化助手，揭示大模型在隐性意图和长期用户理解上的短板。
原文标题：首个用户生活「长程模拟器」来了！LifeSim 重新定义大模型个性化评测
原文作者：机器之心
冷月清谈：
LifeSim 由用户画像、基于 BDI（信念-愿望-意图）的认知引擎、事件引擎和行为引擎组成。它可生成连贯的生活轨迹、事件序列和多轮对话，支持百万级用户画像池，涵盖人口属性、人格特质和长期偏好。基于此，LifeSim-Eval 构建了 120 个用户、1200 个场景，覆盖 8 个生活领域，并设置单场景与长时程两种评测模式。
评测重点不只看模型能否回答问题，还看其能否识别显性和隐性意图、重建用户画像、保持回复与用户偏好一致，以及在长期交互中的自然度与连贯性。实验结果显示，主流大模型在显性意图处理上整体较强，但在隐性意图识别和完成方面明显不足；对话历史拉长后，这类问题会进一步放大。论文还发现，单纯依靠记忆机制带来的收益有限，说明长期个性化能力的难点不只是“记住信息”，还包括稳定推理和真正利用画像。
研究还总结了当前模型在该任务中的三类常见缺陷：推理路径僵化、缺少主动追问、对用户画像利用不足。这项工作为个性化助手提供了更接近真实世界的测试环境，也为后续个性化数据合成和系统优化提供了基础。
怜星夜思：
2、讨论2：长时程个性化助手最难的能力，究竟是“记住你是谁”，还是“在合适的时候做对的事”？
3、讨论3：文章提到模型普遍不爱主动追问。你觉得一个好的 AI 助手应该多问一点，还是少问一点？边界在哪里？
4、讨论4：如果未来个性化助手真的越来越懂人，这会更像“贴心服务”，还是更像“被持续观察”？
原文内容
近年来，大语言模型（Large Language Model，LLM）在个性化智能助手任务上取得了快速进展，通用 AI 助手的愿景也变得越来越可实现。然而，现有针对个性化助手的评测基准，仍然与真实世界中的用户-助手交互存在明显脱节，其局限性主要体现在两个方面：
-
复杂外部环境：真实用户需求并不是脱离环境独立产生的，而是会受到时间、地点、天气、生活事件等复杂外部情境的共同影响；
-
动态用户认知：用户意图往往受到长期偏好、个性特征、近期经历和当前心理状态的共同塑造。
由于真实长期用户交互数据受到隐私与伦理限制，长时间、跨场景的公开数据极为稀缺，这也使得现有评测难以真正逼近现实中的个性化助手使用场景。
针对这些挑战，来自复旦大学、上海创智学院的研究人员提出 LifeSim，一个面向个性化助手评测的长程用户生活模拟框架。LifeSim 同时建模用户内部认知过程与外部物理环境，生成连贯的生活轨迹、事件序列与多轮交互行为；在此基础上，研究团队进一步构建了 LifeSim-Eval，用于系统评测模型在长期个性化交互中的能力边界。
-
论文标题：LifeSim: Long-Horizon User Life Simulator for Personalized Assistant Evaluation
-
论文地址： https://arxiv.org/abs/2603.12152
-
GitHub 地址： https://github.com/dfy37/lifesim
-
Demo 链接： http://fudan-disc.com/lifesim/
图 1：基于长程时空上下文的个人 AI 助手。用户行为会随外部环境动态演化，同时又体现出稳定的个人特质。要实现有效响应，模型需要在适配当前上下文的同时，利用交互历史推断用户状态，从而动态调整自身策略。
融合 BDI 理论的模拟框架：LifeSim
LifeSim 是面向长期个性化助手评测的用户生活模拟框架，核心由四部分组成：用户画像、基于信念-愿望-意图（Belief-Desire-Intention，BDI）的认知引擎、基于环境约束的事件引擎、用户行为引擎。
图 2：LifeSim 框架概览。针对每个目标用户，其用户画像包含人口统计学属性、人格特质与长期偏好，这些要素共同构成长期信念状态。基于 BDI 模型的认知引擎与事件引擎相结合，将主观信念状态与物理环境进行融合，共同生成用户意图。随后，用户行为引擎通过对记忆感知、情绪推理与行为选择进行建模，生成对话内容。
为支持用户多样性，LifeSim 构建百万级用户画像池，每个画像包含人口统计学属性、基于大五人格的特质及长期偏好。基于 BDI 模型的认知引擎用于模拟用户内部认知，其中：
-
信念：涵盖长期画像与短期情境认知；
-
欲望：是当前激发的需求，由真实用户需求库匹配而来；
-
意图：是最终形成的行动倾向，具体通过结合用户画像、近期经历及当前环境生成合理意图。
事件引擎以真实出行轨迹为基础，融入时间、地点等环境因素，根据用户状态生成连贯生活事件，让用户需求自然涌现。用户行为引擎则模拟多轮交互表现，综合考虑记忆、情绪与行为选择，生成的回复兼具画像一致性、上下文相关性与自然度。自动与人工评测验证了行为引擎的有效性。
表 1：基于不同模型基座的用户行为引擎在四个维度上的性能表现。
更贴近真实世界的评测环境：LifeSim-Eval
基于 LifeSim，LifeSim-Eval 被提出用于评测长期个性化助手场景下的模型核心能力。区别于传统评测，其更关注三点：
-
模型能否识别并满足显隐性意图。其中显性意图为用户直接表达的需求，隐性意图需结合画像、场景与偏好推断；
-
能否重建用户画像；
-
回复是否符合用户画像并保持一致。
LifeSim-Eval 利用 LifeSim 构建 120 个用户、1200 个评测场景，覆盖 8 个常见生活领域，并设置两种评测模式：
-
单场景模式：仅基于当前场景，与 LifeSim 中的模拟用户完成多轮对话（最多 20 轮）；
-
长时程模式：需结合历史交互响应当前场景。
核心评测指标包括意图识别、意图完成度、偏好重建、画像对齐，以及回复的自然度与连贯性。
实验结果与关键发现
论文在多类主流 LLM 上进行了系统评测，涵盖 GPT-5、GPT-4o、Claude Sonnet 4.5，以及 DeepSeek-V3.2、Qwen、Llama、gpt-oss 等多个开源 / 闭源模型。实验揭示出以下几个核心结论：
-
显性意图较强，隐性意图明显更难
在单场景设置中，大多数模型在显性意图识别上表现较好，但在隐性意图识别上普遍存在超过 20 分的性能差距。这说明当前模型已经较擅长处理用户直接表达的需求，但对于需要结合上下文和用户状态推断出的潜在需求，能力仍明显不足。
表 2：主流模型在 LifeSim-Eval 上的评测结果。
-
长程对话会进一步放大隐性意图处理难度
在长时程设置中，模型对显性意图的完成率相对稳定，但对隐性意图的完成能力明显更弱，且会随着历史长度增加而进一步下降。这表明现有模型虽然能够在长上下文中维持对表层任务的处理能力，但一旦需要基于长期证据进行用户状态与偏好推理，就会出现明显退化。
图 3：不同助手模型的长时序意图完成性能。热力图展示了意图完成度（I.C.）得分随对话长度的变化情况。
-
简单记忆机制收益有限
论文进一步测试了画像记忆机制：在每个场景后，让模型总结或更新用户偏好。结果显示，虽然这种做法对用户偏好的重建有一定帮助，但整体收益并不稳定，甚至有些模型几乎没有提升。这说明长期个性化能力的瓶颈并不只是「记不住」，更在于模型是否具备稳定的长期偏好推理能力。
图 4：用户偏好还原性能随场景数量增长的变化。
不同意图类型和主题上的表现并不均衡
不同意图类型下的模型相对性能。
不同意图主题下的模型相对性能。
针对不同意图类别和主题的实验结果显示：在以显式、任务驱动需求为主的场景，与需要隐式、情感推理的场景之间，模型在显隐性意图任务的性能存在明显差异。这种异质性表明，当前模型在不同服务领域的鲁棒性参差不齐，需要我们在个性化助手设计中进行更细粒度的优化。
-
模型存在三类典型问题
通过案例分析，论文总结出当前模型在长期个性化助手任务中常见的三类问题：
-
推理僵化：模型容易固守最初的解决路径，面对用户新增约束时缺乏动态调整；
-
主动追问不足：即便关键信息尚不明确，模型也常直接给出建议，而不是主动澄清用户需求；
-
用户画像利用不足：虽然拥有正确的用户画像，但模型不能真正把它们融入回复策略中。
表 3：各模型的主动询问占比与僵化推理占比
总结
本研究提出了 LifeSim 与 LifeSim-Eval，系统性地将个性化助手评测从静态、短上下文任务扩展到面向长期用户生活轨迹的动态交互场景。与传统基准相比，LifeSim 不仅同时建模用户认知状态与物理环境，还进一步引入显性 / 隐性意图区分和长程交互设定，从而更真实地刻画个性化助手在现实生活中的使用挑战。
实验结果表明，当前主流 LLM 虽然已经能够较好地处理显性需求，但在隐性意图识别、用户偏好重建和长程用户理解方面仍然存在显著短板。此外，LifeSim 也提供了接近真实场景的个性化助手模拟环境，也为个性化数据合成提供新途径。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com