UltraRAG:一键式构建 RAG 系统,让大模型读懂你的知识库

UltraRAG框架简化RAG系统构建,零代码WebUI,一键式微调,自动适配知识库,助力大模型高效利用知识。

原文标题:让大模型读懂善用知识库!清华等团队推出 UltraRAG 框架全家桶

原文作者:AI前线

冷月清谈:

UltraRAG 框架由清华大学 THUNLP 团队联合多家机构推出,旨在简化 RAG 系统的搭建和优化过程。相比传统 RAG 系统,UltraRAG 具有以下优势:

1. 零代码 WebUI:无需编程经验,即可通过网页界面完成模型构建、训练和评估。
2. 一键式合成与微调:内置 KBAlign、DDR 等方法,自动化数据构建和模型微调,提升场景问答效果。
3. 多维多阶段评估:采用 UltraRAG-Eval 方法,提供更稳健的模型评估指标。
4. 科研友好:集成多种前沿 RAG 技术,支持模块化探索和研发,方便科研人员进行快速迭代。
5. 自动适配知识库:无需反复进行模型选型,UltraRAG 可自动将模型适配到用户提供的知识库。

UltraRAG 集成了多项创新技术,包括提升知识库自适应能力的 UltraRAG-KBAlign、具有出色中英文检索能力的 UltraRAG-Embedding、纯视觉 RAG Pipeline 的 UltraRAG-Vis、通过动态记忆管理提升复杂问答质量的 UltraRAG-Adaptive-Note、基于可微调数据奖励优化检索增强生成的 UltraRAG-DDR 以及针对 RAG 场景设计的高效评测方案 UltraRAG-Eval。

怜星夜思:

1、UltraRAG 强调其能自动适配知识库,这具体是如何实现的?与传统 RAG 系统手动选择模型相比,有哪些优势和不足?
2、UltraRAG 提到了多维多阶段评估,具体包含哪些维度和阶段?如何理解“关键信息点锚定”增强了评估的稳定性?
3、文章中提到的 UltraRAG 内置的各项技术,如 KBAlign、DDR 等,它们是如何协同工作的?能否举例说明在实际应用场景中,这些技术的组合如何提升 RAG 系统的性能?

原文内容

作者 | OpenBMB 开源社区

RAG 系统的搭建与优化是一项庞大且复杂的系统工程,通常需要兼顾测试制定、检索调优、模型调优等关键环节,繁琐的工作流程往往让人无从下手。

近日,针对以上痛点,清华大学 THUNLP 团队联合东北大学 NEUIR 、面壁智能及 9#AISoft 团队共同推出了 UltraRAG 框架,该框架革新了传统 RAG 系统的开发与配置方式,极大降低了学习成本和开发周期。UltraRAG 不仅具备满足专业用户需求的“单反相机”级精细化配置能力,同时也提供类似“卡片机”的一键式便捷操作,让 RAG 系统的构建变得极简且高效

更重要的是,相比传统 RAG 系统,UltraRAG 支持自动化地将模型适配到用户提供的知识库,有效避免了在“模型选型”时的反复纠结;同时,其 模块化设计 又能为科研需求快速赋能,帮助研究者在多种场景下自由组合、快速迭代。通过 UltraRAG,用户可以轻松完成从数据到模型的全流程管理,不论是要开展深度科研探索,还是进行快速业务落地,都能“随心所欲,得心应手”。

Github 地址:

https://github.com/OpenBMB/UltraRAG

零代码编程 WebUI 支持

UltraRAG 以其极简的 WebUI 作为核心优势之一,即便是无编程经验的用户,也能轻松完成 模型的构建、训练与评测。无论是快速开展实验,还是进行个性化定制,UltraRAG 均能提供直观且高效的支持。该框架集成了多种预设工作流,用户可根据具体需求灵活选择最优路径,无需编写繁琐代码,即可完成从数据处理到模型优化的全流程操作。

以下是操作演示:

合成与微调一键式解决

UltraRAG 以自研的 KBAlignDDR 等方法为核心,提供一键式系统化数据构建,结合检索与生成模型的多样化微调策略,助力性能全面优化。在数据构造方面,UltraRAG 覆盖从检索模型生成模型的全流程数据构建方案,支持基于用户导入的知识库自动生成训练数据,显著提升场景问答的效果与适配效率。在模型微调方面,UltraRAG 提供了完备的训练脚本,支持 Embedding 模型训练及 LLM 的 DPO/SFT 微调,帮助用户基于数据构建更强大、更精准的模型。

多维多阶段稳健式评估

UltraRAG 以自研的 UltraRAG-Eval 方法为核心,融合针对有效与关键信息的多阶段评估策略,显著提升模型评估的稳健性,覆盖从检索模型生成模型的多维评估指标,支持从整体到各环节的全面评估,确保模型各项性能指标在实际应用中得到充分验证。通过关键信息点锚定,UltraRAG 有效增强评估的稳定性与可靠性,同时提供精准反馈,助力开发者持续优化模型与方法,进一步提升系统的稳健性与实用性。

科研友好探索工作集成

UltraRAG 内置 THUNLP-RAG 组自研方法及其他前沿 RAG 技术,支持整个模块化的持续探索与研发。UltraRAG 不仅是一个技术框架,更是科研人员与开发者的得力助手,助力用户在多种任务场景中高效寻优。随着功能的不断完善与升级,UltraRAG 将在更广泛的领域和应用场景中发挥关键作用,持续拓展 RAG 技术的应用边界,推动从学术研究到商业应用的全面发展。其 简洁、高效、灵活且易于上手 的特性,使 RAG 框架的部署与应用更加便捷,显著降低科研与项目开发的技术复杂度,帮助用户专注于创新与实践。

UltraRAG 内置探索技术系列

UltraRAG 系列引入多项创新技术,优化了检索增强生成中的知识适配、任务适应和数据处理,提升了系统的智能性和高效性。

  • UltraRAG-KBAlign: 提升大语言模型自适应知识库的能力,优化知识检索与推理过程。2.4B 模型通过自标注达到 GPT-4o 的标注性能,并在多个实验中超越 GPT-4o 本身。

  • UltraRAG-Embedding: 出色的中英文检索能力,支持长文本与稀疏检索。性能超过 bge-m3 10%。

  • UltraRAG-Vis:提出了纯视觉的 RAG Pipeline,通过引入 VLMs 对文档进行编码,避免了文档解析造成的信息丢失,相比传统 Text RAG Pipeline,部分任务在端到端性能上提升 25-39%。

  • UltraRAG-Adaptive-Note:通过动态记忆管理和信息收集,提升复杂问答任务中的解答质量。在 GPT-3.5-turbo、Llama3-8B、Qwen2-7B 等多个前沿模型上实验表明,自适应地动态记忆管理和信息收集策略相较基础检索增强生成模型可实现 3%~13.9% 的性能提升,并且尤其擅长处理具有复杂信息检索需求的问题。

  • UltraRAG-DDR:基于可微调数据奖励 (DDR) 优化检索增强生成,提升任务特定场景的系统性能。在 MiniCPM-2.4B、Llama3-8B 等多个前沿模型上实验表明,DDR 优化策略相较原始检索增强生成模型可实现 7% 以上性能提升。

  • UltraRAG-Eval:针对 RAG 场景设计的高效评测方案。通过少量种子文档,快速自动生成专业领域的 RAG 评测数据,并提供稳健的模型驱动评测指标与方法。

UltraRAG 各方法在国内外 AI 社区中享有一定的影响力和知名度,例如部分模型拥有三十万次下载量,有的曾在领域内顶尖机构受邀进行学术报告,还有的曾位居中文模型下载量榜首。

参考文献

https://arxiv.org/abs/2410.13509

Li, Xinze, Mei, Sen, Liu, Zhenghao, Yan, Yukun, Wang, Shuo, Yu, Shi, Zeng, Zheni, Chen, Hao, Yu, Ge, Liu, Zhiyuan, et al. (2024).RAG-DDR: Optimizing Retrieval-Augmented Generation Using Differentiable Data Rewards. arXiv preprint arXiv:2410.13509.

https://arxiv.org/abs/2410.10594

Yu, Shi, Tang, Chaoyue, Xu, Bokai, Cui, Junbo, Ran, Junhao, Yan, Yukun, Liu, Zhenghao, Wang, Shuo, Han, Xu, Liu, Zhiyuan, et al. (2024).Visrag: Vision-based Retrieval-Augmented Generation on Multi-Modality Documents. arXiv preprint arXiv:2410.10594.

https://arxiv.org/abs/2410.08821

Wang, Ruobing, Zha, Daren, Yu, Shi, Zhao, Qingfei, Chen, Yuxuan, Wang, Yixuan, Wang, Shuo, Yan, Yukun, Liu, Zhenghao, Han, Xu, et al. (2024).Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation. arXiv preprint arXiv:2410.08821.

https://arxiv.org/abs/2411.14790

Zeng, Zheni, Chen, Yuxuan, Yu, Shi, Yan, Yukun, Liu, Zhenghao, Wang, Shuo, Han, Xu, Liu, Zhiyuan, Sun, Maosong. (2024).KBAlign: Efficient Self Adaptation on Specific Knowledge Bases. arXiv preprint arXiv:2411.14790.

https://arxiv.org/abs/2408.01262

Zhu, K., Luo, Y., Xu, D., Wang, R., Yu, S., Wang, S., Yan, Y., Liu, Z., Han, X., Liu, Z., & others. (2024). Rageval: Scenario specific rag evaluation dataset generation framework.arXiv preprint arXiv:2408.01262.

参考信息

前后的对比,隐私安全,举一个例子;传统方式 VS UltraRAG;

  • 本地一键部署!你最佳的知识库管理助手

  • 任何数据(举例),法律、个人信息、学科老师,上传数据、调优、即可为你解答

  • 快速复现各种方法,为科研赋能

会议推荐

在 AI 大模型技术如汹涌浪潮席卷软件开发领域的当下,变革与机遇交织,挑战与突破共生。2025 年 4 月 10 - 12 日,QCon 全球软件开发大会将在北京召开,以 “智能融合,引领未来” 为年度主题,汇聚各领域的技术先行者以及创新实践者,为行业发展拨云见日。现在报名可以享受 8 折优惠,单张门票立省 1360 元,详情可联系票务经理 18514549229 咨询。


今日荐文





图片
你也「在看」吗?👇

这些技术就像一个团队,各司其职,共同完成任务。KBAlign 负责让模型更好地理解知识库,DDR 负责优化检索和生成的过程,Adaptive-Note 负责处理复杂问题。举个例子,假设我们要构建一个法律咨询系统,KBAlign 可以帮助模型理解法律条文,DDR 优化模型根据用户提问检索相关法律条文并生成解答,Adaptive-Note 则可以处理复杂的案例,并结合多个法律条文给出更全面的解答。

关于“多维多阶段评估”,文章提到了覆盖“从检索模型到生成模型”,我理解维度应该包括检索的准确率、召回率等,以及生成的流畅度、相关性、信息准确性等。阶段方面,可能是指对数据处理、检索、生成等不同阶段进行评估。至于“关键信息点锚定”,我猜测是通过预先设定一些关键信息点,在评估时判断模型输出是否包含这些信息点,从而减少主观性,提高评估的稳定性。

“多维多阶段评估”听着很专业!我理解的是,多维可能是指从多个角度评估,比如检索的效率、生成的质量等等;多阶段可能是指在不同的阶段进行评估,比如训练阶段、测试阶段。至于“关键信息点锚定”,我猜想是预先设定一些关键信息点,然后评估模型对这些关键信息的处理能力,这样可以更客观、更稳定地评估模型的性能,避免受到一些无关因素的干扰。

KBAlign、DDR、Adaptive-Note 等技术就像一个乐队,每个乐器负责不同的部分,合奏出一首美妙的音乐。KBAlign 负责调整模型与知识库的匹配度,DDR 负责优化检索和生成的效果,Adaptive-Note 负责处理复杂的逻辑和推理。假设我们要做一个智能客服系统,KBAlign 可以帮助模型理解产品知识库,DDR 优化模型根据用户提问检索相关产品信息并生成解答,Adaptive-Note 则可以处理用户的复杂问题,并结合多个产品信息给出更全面的解答。

自动适配应该指的是根据知识库的类型、大小、内容等自动选择合适的 embedding 模型和 LLM,并进行相应的参数调整。这样就不用像以前一样手动尝试不同的模型和参数组合了,可以节省不少时间和精力。但是自动适配的策略可能不是最优的,对于一些特殊场景可能需要手动调整才能达到最佳效果,这就需要一定的专业知识了。

这些技术应该是相互配合,共同提升 RAG 系统性能的。比如 KBAlign 提升模型对知识库的适应性,DDR 优化检索增强生成,而 Adaptive-Note 通过动态记忆管理提升复杂问答质量。假设我们要做一个医疗诊断助手,KBAlign 可以帮助模型更好地理解医疗知识库,DDR 优化模型根据用户病情描述检索相关知识并生成诊断建议,Adaptive-Note 可以帮助模型处理复杂的病情描述,并结合多个方面的医疗知识给出更全面的诊断建议。

多维评估应该指的是从多个方面来评估模型的性能,比如检索的准确率、召回率,生成的流畅度、相关性等等。多阶段评估可能是指在不同的阶段进行评估,比如数据预处理阶段、检索阶段、生成阶段等。“关键信息点锚定”应该是指在评估时,会关注一些关键信息点是否被模型正确地处理了,这样可以提高评估的客观性和稳定性,避免因为一些无关紧要的细节差异而影响评估结果。

关于 UltraRAG 自动适配知识库,我理解的是它内置了一些算法或策略,可以根据用户上传的知识库数据特征,自动选择或调整合适的模型参数,从而避免了手动选择模型的麻烦。优势在于省时省力,对用户更友好;不足之处可能是适配效果不如手动精细化调优,尤其是在一些特定领域或对精度要求极高的场景下。