1分钟集成DeepSeek,打造你的Elasticsearch智能运维助手

快速搭建基于DeepSeek的Elasticsearch智能运维助手,实现自然语言集群管理、可视化分析及查询构建。

原文标题:1分钟集成DeepSeek满血版!搭建智能运维助手

原文作者:阿里云开发者

冷月清谈:

本文介绍了如何利用阿里云AI搜索开放平台和Elasticsearch的AI Assistant,快速搭建智能运维助手。该助手基于DeepSeek-R1大模型,深度集成Elasticsearch API,可通过自然语言指令实现集群状态诊断、查询构建、可视化分析等功能,并针对运维排障、威胁猎杀、业务分析等场景提供智能建议。

搭建步骤:
1. 创建Elasticsearch实例 (ES 8.15及以上版本)
2. 创建DeepSeek Connector,选择"deepseek-r1"模型
3. 在操作列表中选择DeepSeek Connector进行对话

AI Assistant功能演示:
1. 辅助集群运维和索引管理:例如,诊断集群yellow状态原因并给出解决方案
2. 可视化分析:例如,分析销售额前5的品类并生成图表
3. Elasticsearch查询语句生成及问题咨询:例如,生成查询商品分类的DSL语句,解释报错信息,提供集群和索引设置调整建议

怜星夜思:

1、除了文中提到的运维场景,大家觉得AI Assistant还能在哪些Elasticsearch使用场景中发挥作用?
2、DeepSeek-R1模型与其他大语言模型相比,在Elasticsearch运维方面有哪些优势?
3、对于没有编程基础的运维人员来说,使用AI Assistant是否真的能够降低Elasticsearch的使用门槛?

原文内容

阿里妹导读


阿里云 AI 搜索开放平台面向企业及开发者提供丰富的组件化AI搜索服务,本文将重点介绍基于AI搜索开放平台内置的 DeepSeek-R1 系列大模型,如何搭建 Elasticsearch AI Assistant。


DeepSeek-R1满血版与Elasticsearch AI Assistant(智能运维助手)的深度融合,标志着生成式AI(GenAI)与智能运维专业领域的协同正式迈入实战阶段。本文将揭秘如何结合阿里云AI搜索开放平台和阿里云Elasticsearch的AI Assistant,在1分钟内搭建智能运维助手,将LLM技术转化为可落地的运维生产力:


  1. 深度集成:直接调用 Elasticsearch API 实现集群实时状态诊断,支持动态生成可视化数据看板。

  2. 智能交互:通过自然语言指令自动构建精准查询语句,实现查询构建-执行-优化的全流程自动化。

  3. 场景优化:针对运维排障、威胁猎杀、业务分析等场景提供智能建议,显著降低技术门槛。

  4. 定制知识:可配置私有的知识库,结合知识库的内容,调用 DeepSeek 大模型辅助问答。

阿里云 AI 搜索开放平台面向企业及开发者提供丰富的组件化AI搜索服务,本文将重点介绍基于AI搜索开放平台内置的 DeepSeek-R1 系列大模型,如何搭建 Elasticsearch AI Assistant。AI Assistent 可配置私有的知识库:结合知识库的内容,调用 DeepSeek 大模型辅助问答。

一、基于 DeepSeek 系列模型1分钟开启 Elasticsearch 的 AI Assistent


Step 1:创建Elasticsearch实例

按如下文档指引,完成阿里云ES 8.15及以上版本实例的创建和kibana相关配置:https://help.aliyun.com/zh/es/user-guide/ai-assistant-usage-guidelines

Step 2:创建DeepSeek的Connector

在创建Connector(连接器)的页面上,参考上述文档步骤10,在默认模型选项上,将模型设置成“deepseek-r1”。

选择保存并测试,点击运行按钮,如果返回测试成功,就说明DeepSeek的Connector(连接器)正常创建了。

Step 3:选择DeepSeek的Connector进行对话

在操作列表中,确认 Connector (连接器)选择的是刚刚创建的 DeepSeek connector name。

接下来就能使用 DeepSeek-R1等系列 的大模型,使 AI Assistant 发挥更好的效果,帮助用户高效完成对 Elastic 的各种操作。

二、AI Assistant 的场景演示

场景1、辅助集群运维和索引管理(AI Assistant+DeepSeek模型)
Step 1:

创建一个索引,number_of_replicas 设置很大(超过节点数量),集群状态就会变成 yellow;

PUT test/
{
   "settings": {
       "number_of_replicas": 10
   }
}
Step 2:

让 AI Assistent 分析原因并给出解决方案,AI Assistent 甚至能在用户授权后,直接调整number_of_replicas settings 将集群恢复 green;

针对集群运维和索引管理还可以尝试提问下面一些示例问题:

  • 请列出当前集群的索引,不要包含隐藏索引或者系统索引

  • 将集群分片搬迁速度调大到100mb

  • 创建一个test_new索引,索引结构跟test一样,分片数调整为3个

  • 集群现在负载为什么这么高

场景2、可视化分析
Step 1:

导入样例数据:进入Kibana主页,单击试用样例数据—其他样例数据集,将kibana准备的3份示例数据导入Elasticsearch;

Step 2:

点击如下图的 Logs 按钮,可以进行 AI Assistent 的可观测分析;

Step 3:
在分析过程中,点开任意一条日志,AI Assistent 可帮助我们了解消息的含义以及如何查找相似日志;

Step 4:
AI Assistent 上制作可视化的图表:
  • 提问示例:

“分析kibana_sample_data_ecommerce索引,列出销售额前5的品类,并制作图表。”

可以看到AI Assistent 画出的相关图表,用户可以点开图表详情进行调整和保存图表。

场景3:Elasticsearch 使用的查询语句生成和各种问题咨询
Step 1:
AI Assistent 可帮助 ES 用户查询 DSL
  • 提问示例:

“查询kibana_sample_data_ecommerce中一共有多少商品分类,将全部商品分类列出来,可以帮我写出查询的DSL吗”。

AI Assistent 不仅会给出 DSL 的写法,还会解释查询语句,以及返回的结果说明等。

Step 2:
更多示例提问:
  • “帮忙解释下写入、查询的 xx 报错信息”

  • “怎么调整集群的 settings,有哪些 settings 可以调整”

  • “怎么调整索引的 settings,有哪些 settings 可以调整”

  • “参数 cluster.max_shards_per_node 配置是什么意思,给出参数的使用建议”

三、结尾

AI助手推荐模型

输入(元/千tokens)

输出(元/千tokens)

DeepSeek-r1

0.004

0.016

DeepSeek-v3

0.002

0.008

  • Elasticsearch向量增强8.15版新购年付5折优惠已全面上线!

阿里云Elasticsearch:https://www.aliyun.com/product/bigdata/elasticsearch

AI搜索开放平台:https://www.aliyun.com/activity/bigdata/opensearch/platform


据说DeepSeek-R1可以直接调用ES的API,这样集成起来更方便,效果也更好,不像其他模型那样,需要额外的适配工作。

我觉得可以,至少不用再去记复杂的DSL语句了,直接用自然语言提问就能得到结果。

个人觉得DeepSeek系列模型速度挺快的,而且成本也比较低。对于ES运维这种对实时性要求比较高的场景来说,还是很重要的。

对于简单的操作肯定没问题,但复杂的场景估计还是需要一些编程知识,AI Assistant只是辅助工具,不可能完全替代人工。

感觉可以结合业务做一些用户行为分析,比如分析用户的搜索关键词,推荐相关产品啥的。

除了安全分析,还能做一些预测性的维护,比如预测磁盘空间不足,提前发出告警。

我觉得可以用于安全分析,比如分析日志,识别潜在的攻击行为。

DeepSeek-R1针对ES做了优化吧,估计在理解ES相关的DSL语句、报错信息等方面更专业一些,不像通用的大模型那样,啥都懂一点,但都不精。

降低门槛是肯定的,起码能看懂AI的分析结果和建议。不过要想真正用好,还是得学习一些ES相关的基础知识。“对于没有编程基础的运维人员来说,使用AI Assistant是否真的能够降低Elasticsearch的使用门槛?”这个问题我觉得要辩证的看,不能一概而论。