LiveEdit提出了一种新的视觉语言模型终身知识编辑方法，通过低秩专家混合机制，实现对VLLM知识的持续修正和更新。
原文标题：【CVPR2025】基于低秩专家混合机制的视觉语言模型终身知识编辑
原文作者：数据派THU
冷月清谈：
本文提出了一种名为LiveEdit的全新方法，旨在解决视觉语言模型（VLLMs）在终身学习场景中的知识编辑问题。该方法的核心在于训练一个“编辑专家生成器”，为每个编辑实例独立生成低秩专家，以修正VLLM的输出响应。LiveEdit还设计了一种硬过滤机制，利用视觉语义知识剔除无关专家，并引入软路由机制融合相关专家信息。通过构建的终身VLLM编辑基准测试集进行的大量实验表明，LiveEdit在终身VLLM编辑任务中表现出色，验证了其设计的合理性和有效性。
怜星夜思：
1、LiveEdit方法中提到的“低秩专家”具体指的是什么？为什么要使用低秩专家而不是高秩专家？
2、文章中提到“硬过滤机制”和“软路由机制”，这两种机制分别解决了什么问题？如果缺少其中一种，会对LiveEdit的性能产生什么影响？
3、文章构建了一个用于终身VLLM编辑的基准测试集，那么，构建这样一个测试集需要考虑哪些因素？如何保证测试集的质量和泛化能力？
2、文章中提到“硬过滤机制”和“软路由机制”，这两种机制分别解决了什么问题？如果缺少其中一种，会对LiveEdit的性能产生什么影响？
3、文章构建了一个用于终身VLLM编辑的基准测试集，那么，构建这样一个测试集需要考虑哪些因素？如何保证测试集的质量和泛化能力？
原文内容
来源：专知本文约1000字，建议阅读5分钟
大量实验证明，LiveEdit在终身VLLM编辑任务中具有显著优势，进一步实验也验证了各模块设计的合理性与有效性。
模型编辑旨在在无需重新训练的前提下，修正大型语言模型（LLMs）中的错误知识、更新过时信息并融入新数据。该任务在终身学习场景中尤为具有挑战性，因为编辑操作需要持续进行，以满足真实世界应用的需求。尽管部分编辑方法在纯语言模型中展现出较强的稳健性，但视觉语言模型（Vision LLMs, VLLMs）由于引入了视觉模态，无法直接适配现有的语言模型编辑器。
为弥合终身LLM编辑与VLLM之间的差距，本文提出LiveEdit，一种用于终身VLLM知识编辑的新方法。我们首先训练一个“编辑专家生成器”，能够为每次编辑实例独立生成低秩专家，旨在修正VLLM的相关输出响应。为此，我们设计了一种硬过滤机制，利用视觉语义知识在推理阶段粗略剔除与输入查询视觉无关的专家。随后，我们引入一种基于文本语义相关性的软路由机制，以融合多个视觉相关专家，从而实现多专家信息整合。
为评估方法有效性，我们构建了一个用于终身VLLM编辑的基准测试集。大量实验证明，LiveEdit在终身VLLM编辑任务中具有显著优势，进一步实验也验证了各模块设计的合理性与有效性。
https://arxiv.org/pdf/2411.15432
