RAG技术应用瓶颈与未来展望

原文标题:都说 RAG “烂大街”了,但为何深度应用寥寥无几?| 直播预告

原文作者:AI前线

冷月清谈:

- RAG技术将传统信息检索和深度学习相结合,为信息检索提供新方案。 - RAG技术在深度应用中遇到的挑战: - 准确性与幻觉率,如何适应不同场景和行业。 - 解答复杂问题,如何从异构数据中获取信息。 - 技术集成复杂度,需要同时精通检索系统和大语言模型技术。

怜星夜思:

1、目前看来对于幻觉率的控制,有哪些策略是业界比较关注的?
2、RAG技术在解答复杂问题上目前有哪些比较成功的范例,或者说未来有哪些可期的方向?
3、RAG技术与Agent的结合,未来有哪些令人期待的应用场景?

原文内容

大语言模型技术迅猛发展的脚步,正引领着信息检索技术进入一个新的纪元。在这一领域中,RAG 技术将传统信息检索技术与大语言模型技术相结合,为知识理解、知识获取提供了全新的解决方案。然而,尽管 RAG 在很多任务上表现出色,其在深度应用上仍面临诸多挑战。

比如:

  • 检索的准确性和低幻觉,如何适配不同的场景和行业,极大幅度提高准确性以及降低幻觉率。

  • 解答复杂问题,如何智能化从各种异构数据源中获取信息,来有效解答复杂问题。

  • 技术集成的复杂度,需要同时精通检索系统和大语言模型技术,实际应用中有顺畅的体验(这是性能问题),而且用得起(这是成本问题)等等。

鉴于此,我们策划了这场以 RAG 技术为主题的圆桌讨论活动,旨在探讨 RAG 技术的当前进展、面临的挑战、未来的发展方向以及在不同行业中的应用潜力。

直播介绍
 直播时间

7 月 10 日 20:00-21:30

 直播主题

都说 RAG “烂大街”了,但为何深度应用寥寥无几?

 嘉宾
  • 主持人:郭瑞杰 阿里巴巴总监 & TGO 鲲鹏会学员

  • 嘉宾:

    1.欧明栋 阿里云 /高级算法专家

    2.张颖峰 英飞流 /CEO

    3.常扬 合合信息 /智能创新事业部研发总监

直播亮点
  • RAG 技术在不同行业中的应用差异、挑战及潜在影响

  • RAG 技术真的“烂大街”了?对 RAG 技术的深入理解

  • 基于 Agent 的高级 RAG,针对复杂问题的解法

  • RAG 技术未来的发展预测与畅想

如何看直播?

扫描下图海报【二维码】,或戳直播预约按钮,预约 InfoQ 视频号直播。👇


更多精彩内容,欢迎持续关注 8 月 18-19 日的 AICon 上海站,届时,几位老师将带来如下分享:

讲师:欧明栋 阿里云高级算法专家
演讲主题:阿里云 AI 搜索 RAG 大模型优化实践


RAG(检索增强生成)是大模型应用的重要方向,它大幅缓解了大模型幻觉、信息更新不及时、专业域或私有域知识匮乏等问题,显著提升了大模型在知识库问答、网页搜索、客服等领域的可信赖度。但我们发现,在实际落地中,RAG 仍存在不少问题,如:文档解析结构丢失、大模型生成幻觉、复杂问题无法解答等等,本次演讲我将主要分享以上问题的解决方案,希望能给大家带来一些启发和思考。


演讲提纲

  1. RAG 技术背景及应用场景介绍;
  2. 文档结构化:基于大模型的文档层次结构提取;
  3. RAG 场景生成幻觉优化:面向 RAG 的大模型微调;
  4. RAG Agent 探索:基于 Agent 的自适应 RAG;
  5. RAG 案例解析;
  6. 总结与展望


听众收益

  1. 阿里云 AI 搜索 RAG 在实际应用场景中碰到的问题及尝试的解决方案

  2. 阿里云 AI 搜索 RAG 大模型优化实践中的失败和成功经验

讲师:王元 IET / 皇家特许工程师
演讲主题:从 RAG 到微调:企业知识问答大模型演进之路


越来越多的企业利用大模型构建专属领域的知识问答型机器人。通过使用 RAG 和提示工程技术,企业可以快速基于预训练大模型构建功能和产品,但随着业务量和场景的增加,其性能受到多种因素制约,比如大模型调用成本、多场景支持、法务合规等。本次演讲将介绍我们通过大模型微调,完成 GPT-3.5 / 开源模型完全替换 GPT-4 的实践和经验,并展望未来发展方向。


演讲提纲  

  1. 系统架构的演进

  2. RAG 系统的问题

  3. 子模块的指标设计

  4. 数据问题及解决方案

  5. 微调技术实践

  6. 微调后调优与测试

  7. 总结与展望


听众收益

  1. 了解 RAG 和微调的异同与适用场景
  2. 了解大模型微调的技术难点和实践经验
  3. 了解微调的副作用以及微调后调优策略
讲师:常扬 合合信息 / 智能创新事业部研发总监

演讲主题:向量化与文档解析技术加速大模型 RAG 应用落地

大模型落地应用中,RAG(Retrieval-Augmented Generation)与大模型文档相关 Agent 在落地时常遇到文档无法正确解析、表格公式目录等文档元素解析丢失、知识库文档解析速度慢、机械分 chunk 丢失语义信息、目标内容召回不到等问题,极大影响了 RAG 落地应用效果与用户体验。


本次演讲从 RAG 应用落地时常见问题与需求(文档解析、检索精度)出发,介绍针对性的高精度、高泛化性、多版面多元素识别支持的文档解析技术方案与整合长文档解析引擎、层级切片技术的向量化 Embedding 模型技术方案,最后分享开放域多模态信息抽取应用与知识库问答应用等实际场景的产品实践案例。


演讲提纲

  1. RAG 落地时的常见的问题与需求

  2. 文档解析技术 + 向量化技术的研究内容

  3. 文档解析技术方案介绍

  4. 向量化 Embedding 模型技术介绍

  5. 实际场景产品实践案例


听众收益

  1. 深入了解 RAG 应用落地的挑战与解决方案

  2. 掌握文档解析与向量化 Embedding 模型技术逻辑与原理

  3. 通过 RAG 应用落地的案例分享,获得实践经验

讲师:张颖峰 英飞流 /CEO
演讲主题:从 RAG 1.0 走向 RAG 2.0 ——技术挑战与实现


RAG 1.0 是以 LLMOps 为核心的 RAG 编排系统,通过把各种组件如 Embedding 模型,向量数据库等编排在一起,快速让用户搭建起原型。然而在面向企业级场景使用的时候,常常会面临各种问题却无法应对。RAG 2.0 是以搜索为核心的端到端系统,它将整个 RAG 按照搜索的典型流程划分为若干阶段:包含数据的信息抽取、文档预处理、构建索引、以及检索,并且每个环节都围绕一系列模型协同工作。本次分享主要带来 InfiniFlow 在这些环节的具体进展,并介绍如何打造标准化的企业级 RAG 2.0 产品。


演讲提纲

  1. RAG 1.0 的痛点
  2. 以搜索为中心的 RAG 2.0
    1. 数据抽取模型——实现与演进
    2. 文档预处理模型
      • 知识图谱
      • 聚类
      • Embedding 的选择与微调
    3. 召回和排序
      • 全文搜索
      • Blended RAG 三路召回
      • Tensor 召回与 Cross Encoder
    4. Agent 与 Agentic RAG
  3. RAG 的未来发展


听众收益  

  1. 如何解决 RAG 落地场景的技术挑战

  2. 如何实现企业级 RAG 和 Agent

内容推荐
AIGC技术正以惊人的速度重塑着创新的边界,InfoQ 首期《大模型领航者AIGC实践案例集锦》电子书,深度对话30位国内顶尖大模型专家,洞悉大模型技术前沿与未来趋势,精选10余个行业一线实践案例,全面展示大模型在多个垂直行业的应用成果,同时,揭秘全球热门大模型效果,为创业者、开发者提供决策支持和选型参考。关注「AI前线」,回复「领航者」免费获取电子书。
活动推荐
AICon 全球人工智能开发与应用大会,为资深工程师、产品经理、数据分析师等专业人群搭建深度交流平台。聚焦大模型训练与推理、AI Agent、RAG 技术、多模态等前沿议题,汇聚 AI 和大模型超全落地场景与最佳实践,期望帮助与会者在大模型时代把握先机,实现技术与业务的双重飞跃。

在主题演讲环节,我们已经邀请到了「蔚来创始人 李斌」,分享基于蔚来汽车 10 年来创新创业过程中的思考和实践,聚焦 SmartEV 和 AI 结合的关键问题和解决之道。大会火热报名中,7 月 31 日前可以享受 9 折优惠,单张门票节省 480 元(原价 4800 元),详情可联系票务经理 13269078023 咨询。


今日荐文





你也「在看」吗?👇

娱乐派:

  • 未来RAG技术可以成为无所不知的“超级助理”,帮我们解决生活中遇到的各种难题,从论文写作到人生规划,无所不能。

娱乐派:

  • **虚拟导游:**在旅游景点部署搭载RAG技术的虚拟导游,为游客提供个性化的讲解和推荐,提升旅游体验。

技术流:

  • **知识管理:**构建基于RAG技术的知识管理系统,将企业内部分散的知识资源进行整合和关联,方便员工快速获取和应用知识。
  • **安全检测:**利用RAG技术分析海量安全日志数据,主动发现安全隐患,提升企业安全防护能力。

技术流:

  • 采用prompt工程技术,通过对输入的提示进行微调,引导模型生成更准确、更真实的文本。
  • 使用可解释性方法,分析模型的决策过程,找出导致幻觉产生的因素,并进行针对性改进。
  • 探索多模态模型,利用图像、音频等其他模态信息,辅助模型对文本信息的理解,降低幻觉率。

技术流:

  • 探索多跳推理技术,通过多个推理步骤逐层深入问题,逐步逼近最终答案。
  • 利用预训练语言模型的生成能力,自动生成问题解答的推理过程,提高透明度和可信赖性。

学术派:

  • 采用分布式表示,提升模型对语义的理解,降低产生幻觉的概率。
  • 利用对抗训练,引入噪声数据,让模型学会区分真实和虚假信息。
  • 引入知识图谱,为模型提供背景知识,减少模型的想象空间。

娱乐派:

  • 给模型设置一个“诚实开关”,当检测到模型开始产生幻觉时,就自动关闭生成功能。
  • 让模型接受“逻辑训练”,用大量的逻辑推理题来锻炼模型的“智商”,从而减少其犯低级错误。

学术派:

  • 复杂问题解答基于大规模知识图谱,融合多种模态信息,提升模型对问题语义的理解和推理能力。
  • 引入外部知识库,为模型提供额外的信息来源,提高解答复杂问题的准确性和全面性。

学术派:

  • **个性化信息推荐:**基于用户历史行为和偏好,为用户提供定制化信息流,提高信息获取的效率和准确性。
  • **智能客服:**将RAG技术融入智能客服系统,提升客服响应的准确性和效率,打造更人性化的客服体验。