AI产品实操经验:两年探索之路

AI产品难在哪?Prompt工程如何做?团队如何构建?两年AI产品实操经验分享,助你快速上手!

原文标题:做AI产品两年,我得出的实操经验

原文作者:AI前线

冷月清谈:

本文是作者两年AI产品探索的经验总结,主要涵盖三个方面:AI产品难做的原因、提示词工程的重要性以及AI产品团队的构建。文章指出AI产品的核心在于理解和利用AI完成任务的范式转移,强调了Prompt工程如同代码一样需要测试和版本管理。同时,文章强调为模型提供充分的上下文信息,并建议在设计AI产品时考虑到模型的不断更新,采用Flow Engineer的思路进行模块化设计,以便更好地适应未来的技术发展。最后,作者认为AI产品团队应由具备Prompt调试能力和编码能力的人员紧密合作,共同创作。

怜星夜思:

1、文章中提到“AI产品就是基于 '给模型提供上下文' 出发开始的”,那么在实际应用中,我们如何判断哪些是“必要信息”?有没有一些通用的方法或checklist可以参考?
2、文章提到了Flow Engineer的概念,并推荐使用LangGraph搭建实际应用。对于没有相关经验的开发者来说,如何快速入门Flow Engineer?有哪些学习资源可以推荐?
3、文章中提到“有了 AI,才有了年轻人的机会”,你对此怎么看?AI的普及是否真的能为年轻人带来更多机会?又会带来哪些挑战?

原文内容

作者 | 宁晨然  

前段时间我去 QCon 北京全球软件大会分享了一个专题:

AI 时代的新范式:如何构建 AI 产品?

观众反响特别好,想着要不把分享的内容公开出来,所以整理了这篇文章。本篇内容是对我过去两年时间,做了无数个 AI 产品 demo 的一个阶段性的总结,主要聚焦这三个方面的经验:

为什么 AI 产品这么难做?

提示词工程被极大低估

AI 产品团队如何构建

谨小认知,仅供参考。写给所有 AI 路上的朋友们。

简单自我介绍,我是 ONE2X AI 全栈工程师,AI 视频剪辑效果负责人。负责 ONE2X 的 Medeo(AI 视频剪辑工具)的视频自动化制作工作流全流程搭建、工具产品的设计及创新 AI 应用场景探索。

22 年 11 月 GPT 刚出后,就开始尝试做各种各样的 AI 产品,23 年年中毕设做的是 AI 情感陪伴、暑假在做企业知识库 Chatbot 智能客服、23 年年底到 24 年年中在大厂做低代码编排 AI 工具和智能医疗、24 年年中到现在在 AI 创业工作做 AI 自动剪辑。途中还做过大大小小的 project,包括 AI 写遗嘱、AI Agent 做动画等等……也算是积累了很多实操经验了。

为什么 AI 产品这么难做?

让我们轻松的聊聊 AI 与产品

认知截止到 20250411

A Joke:先从一个笑话开始,你能看懂吗?

如果你知道每一条背后的原因,那么恭喜你上道了!

所以为什么 AI 产品这么难做?

AI 时代的产品和传统的产品不一样的是什么?

基础流程是什么?

所有流程可枚举全部已知

流程的自动化的定义是什么,什么流程可以被 SOP 化,就可以做成产品。那 AI 产品,首先肯定是产品,其次它还会完成以前人类才能完成的某种任务。这个任务如果需要 AI 完成,那就发生了范式转移

你得帮用户做出来这个任务。

举个例子,Cursor

Cursor 是我认为 2024 年最好的 AI 产品

它解决了三端关系。

Cursor Team 解决了如下问题:

  • 任务分级:根据给 AI 的执行权限不同的不同可控颗粒度的任务

  • 帮用户完成了任务:每个任务 / 功能在用户还没来之前就已知该任务如何完成(Coding,且无论语言,无论项目)

  • 交互方式:每个任务 / 功能与人协同的人机交互方式

提示词工程被极大低估
认知一:Prompt 也是代码,所以要测试。

尊重 prompt,同代码享受同等权利,需要 git diff

需要对 prompt 单独进行版本管理

Prompt 也是代码,但有区别?

LLM 和函数很类似,它们都是实现某个“计算”的节点。

但它能提供比传统函数能做的更多的事情,提供“智慧类型”计算。

它可以接受非结构化的数据,经过推理,输出非结构化 / 结构化的数据。

Prompt 也是代码,如何测试……?

函数,我们在运行前,通过 IDE 或者单测即可完成功能正确性校验

LLM 怎么测试呢?

如果你只是让它完成传统函数的任务,也很好测试,可以使用 function call 加上单测。

比如加法任务,只让它输出结果,可以做正确性校验

但大概率你让 LLM 做的事情是非结构化的。

所以 Prompt 的好坏怎么测?

一、格式正确性

使用 function call / Json mode 确保输出格式不出错

任何 LLM 相关的调用,都使用 pydantic 严格校验

二、功能 Baseline

输出内容,通过 batch evaluation 进行校验。

 三、人工评测结果

模型的上限,还是取决于人对于结果的要求有多高。

Baseline 只是保证功能正常运行,上限在于“人”

四、放权

模型可能比你想象中的更强,不要限制它的思考方向,思考内容,knowhow,把 prompt 当成一种容器,你只是为模型提供必要的信息,而不是教它如何思考。

总结一下,Prompt 也是代码,所以要测试。

认知二:AI 产品就是基于

“给模型提供上下文”出发开始的

首先,不要发现模型做不对任务,就觉得它有问题。接下来以 Text2SQL 为例。

做产品的人需要知道这个任务完成本身需要什么上下文,并且努力为模型提供出来。你并不需要那么多 Prompt 技巧,而是努力为模型提供更多的“必要信息”。

你会发现跟人很像。把它当成实习生,你也需要给实习生上下文。

对于大部分业务场景而言,你不需要“神级 Prompt”(如下图),你需要的是对业务的熟悉程度。把业务 knowhow 沉淀成 Prompt。

一件事情上下文到底是啥?寻找 root 变量的过程。

认知三:如何面向未来进行设计,

避免被模型更新所冲击?

Manus 画的 AI Model Timeline

模型每天都在更新,我怎么设计提示词和架构?

模型更新之后,提示词会不会失效了呢?

每个模型有什么不同的脾性?

模型越来越智能,未来还需要复杂的提示词吗?

……

Slow Down,别焦虑。

打不过就加入:用最好的模型的 API 创建应用。除非自己顺手能训练模型。

Flow Engineer:什么时候拆分任务,什么时候合并任务?

我的体感(纯经验,没有数据支撑,knowledge 截至 20250321)

如果不知道用啥,就先试试 Claude

通用类型任务:Claude-3.5-Sonnet / Claude-3.7-Sonnet

强推理任务:Claude / Gemini 2.5 Pro

中文语言任务:DeepSeek

图片多模态任务:Claude / Gemini / 阶跃

视频多模态任务:Gemini

简单任务:Gemini Flash (省钱)

中文 B 端本地任务:Qwen

可能的 Bad Case:

DeepSeek 指令遵循弱

Gemini flash 幻觉严重

……

当然 GPT4o 生图很好!

Flow Engineer

“Flow Engineering” 是一个最近越来越受欢迎的术语。它第一次被提及作为术语是在 CodiumAI 关于 AlphaCodium 的论文中,他们在论文中使用流工程来产生关于编码问题的最新结果。

推荐看一遍 Langgraph 的 ipynb examples

Flow 强调的是用整体系统设计去完成任务

多节点设计,每个节点去实现单一任务。

单一任务简单可靠,一定在 LLM 可实现范围之内。

当一个任务太难的时候,就拆成两个任务去做。

好像有点像 Dify/Coze 的意思?

对,但不全对。不要忘了传统代码的能效。

你并不需要全部节点都是 LLM,你也可以组合 function 和 LLM。

所以推荐使用 Dify/Coze 验证原型,写代码用 LangGraph 搭建实际应用。

当模型更新后,就合并任务。

在设计 Flow 的时候,不需要拘泥于优化一个节点的 LLM Prompt。

因为模型推理能力不够,大概率三个月后就够了。不需要过度设计。

用几个小的 task 拆解后完成任务,等模型更新后把整个大任务交给新的模型。

总结一下,Prompt Engineer 的认知

AI 产品团队如何构建
认知一,首先你得成为“创作者”

Cursor 很厉害,也最先落地:

懂 AI 的本来就是程序员。团队懂 Coding。

团队知道如何拆解任务,每一个任务如何写 Prompt 的 knowhow,团队很清楚。

模型 Coding 能力已经阶跃(Claude3.5) 文本模态 Coding 任务是最擅长的。但还有如此多的业务场景,等着创造

认知二,快速做出 Demo 最重要

AI 产品最后长成什么样子,已经是无人定义清楚的事情了。

只有当把所有的要素及其,做出一个 demo,你才知道这是什么感觉的产品。

我做的大大小小的 demo

认知三,产品 / 开发的界限模糊

以前的开发模式,是产品、研发。现在可能变成了一个紧密的团队一起调 prompt。

这是我在公司内部做的后台,支持任何人追溯每次 LLM 调用,并且重新调试 prompt。

最好是产品 / 全栈能自己调试 prompt。

AI 产品需要紧密配合的团队,一起设计架构。

Prompt 需要沟通能力,业务能力。代码需要研发能力。

Prompt + 代码是团队之间才能做的事情。

一起创作。

写在最后

我们正在见证新范式的出现,很幸运。

有了 AI,才有了年轻人的机会,所以我非常感激能在这个时代能有这么多有意思的事情。

谨小认知,仅供参考。

认知截止到 20250411

其实我觉得“必要信息”这个概念挺主观的。与其说是“必要”,不如说是“有效”。我的经验是,先尽可能多地给模型提供信息,然后通过不断迭代和优化,找出哪些信息对结果影响最大。可以借鉴特征工程的思想,把上下文信息当成特征来处理,用模型来评估每个特征的重要性。另外,可以多参考一些相关的prompt工程案例,学习别人是如何构建上下文的。最重要的是保持实验精神,不断尝试和总结。

与其说是“年轻人的机会”,不如说是“所有人的机会”。AI的普及正在改变我们的生活和工作方式,每个人都应该积极拥抱AI,学习AI,利用AI。当然,年轻人更有优势,因为他们更具学习能力和适应能力。但是,老年人也可以学习AI,利用AI来改善自己的生活。关键在于心态,要保持开放的心态,勇于尝试新事物。另外,也要关注AI的伦理问题,确保AI的发展符合人类的利益。

我觉得这个问题有点像在问“如何更好地理解需求”。我的看法是,可以从以下几个方面入手:1. 明确目标:要让AI完成什么任务?目标的清晰程度直接影响到所需信息的精确度。2. 分析数据:有哪些可用的数据?数据的质量如何?数据中可能包含哪些有用的信息?3. 模拟场景:模拟用户的使用场景,思考用户在什么情况下会需要AI的帮助,以及他们会提供哪些信息。4. 持续反馈:根据用户的反馈不断调整和完善上下文信息。总的来说,这是一个持续迭代的过程,没有一劳永逸的解决方案。

这句话说得太好了!AI的出现确实给年轻人带来了前所未有的机会。在这个快速变化的时代,年轻人更容易接受新事物,可以更快地掌握AI技术。AI降低了创业的门槛,让年轻人可以更容易地将自己的想法变成现实。但是,AI也带来了一些挑战。比如,需要不断学习新的知识和技能,才能适应AI的发展。此外,AI也可能加剧就业竞争,年轻人需要具备更强的竞争力才能脱颖而出。总的来说,AI既是机遇,也是挑战,关键在于如何把握。

这个问题问得好!判断“必要信息”确实是AI产品能否成功的关键。我的理解是,首先要深入理解业务场景,把自己当成AI模型的“实习生”,思考完成这个任务需要哪些背景知识、数据和指令。可以尝试先让人工完成一遍任务,记录下过程中用到的所有信息,然后逐一筛选,看哪些信息是必不可少的。另外,可以尝试使用A/B测试,逐步增加或删除信息,观察模型输出结果的变化,从而找到最优的上下文组合。一个checklist可以包括:任务目标、相关数据、领域知识、约束条件、输出格式等。

机遇肯定是有的,但也要看到背后的陷阱。AI降低了某些行业的门槛,但也提高了另一些行业的门槛。比如,对于那些重复性的、低技能的工作,AI可能会取代人工,导致失业。但是,对于那些需要创造性思维、解决复杂问题的工作,AI则可以成为我们的助手,提高工作效率。因此,年轻人需要根据自己的兴趣和优势,选择合适的职业方向,并不断提升自己的能力,才能在AI时代立于不败之地。

我觉得学习Flow Engineer的关键在于实践。可以尝试从一个简单的任务开始,比如一个问答系统,然后逐步增加任务的复杂性。可以使用Dify/Coze等工具快速搭建原型,验证自己的想法。同时,要多阅读一些相关的论文和博客,了解Flow Engineer的最新进展。另外,可以关注一些AI社区和论坛,与其他开发者交流经验。记住,Rome wasn’t built in a day,学习Flow Engineer也需要时间和耐心。

与其说学习Flow Engineer,不如说是学习如何更好地组织和管理AI应用。我的理解是,Flow Engineer的核心思想是将一个复杂的任务分解成多个简单的子任务,然后通过一个流程图来描述这些子任务之间的依赖关系。因此,学习Flow Engineer的关键在于掌握任务分解和流程设计的技巧。可以参考一些软件工程的方法论,比如敏捷开发、DevOps等,将这些方法论应用到AI应用的开发过程中。另外,可以学习一些流程引擎和工作流管理工具,比如Activiti、Camunda等,这些工具可以帮助你更好地管理和监控AI应用的运行。

Flow Engineer确实是一个很有前景的方向。对于初学者来说,我的建议是先从LangChain入手,LangGraph是LangChain生态系统中的一部分,理解LangChain的基本概念和使用方法是学习LangGraph的基础。可以从LangChain的官方文档和教程开始,逐步学习Chain、Agent、Memory等核心概念。然后,可以阅读LangGraph的官方文档和示例代码,了解LangGraph的节点、边和循环等基本概念。此外,可以参考一些Flow Engineer的案例研究,学习别人是如何使用Flow Engineer解决实际问题的。一些不错的学习资源包括:LangChain官方文档、LangGraph官方文档、CodiumAI关于AlphaCodium的论文、以及一些AI社区和论坛。