提示词工程新工具 ell:支持版本控制和多模态,升级版 LangChain

原文标题:OpenAI前研究者发布提示词工程框架ell,升级版LangChain,支持版本控制和多模态

原文作者:机器之心

冷月清谈:

- **提示词本质:**提示词不应被视为简单的字符串,而是一种发送给语言模型的代码。 - **ell 的设计原则:**将语言模型视为离散子程序,提示词是其参数,需要迭代优化。 - **自动化版本控制:**ell 提供动态和静态分析,实现提示词的自动版本控制和序列化,类似于机器学习中的检查点管理。 - **可视化和监控工具:**Ell Studio 支持提示词版本控制、监控和可视化,使提示词优化过程更加可控和可追溯。 - **多模态支持:**ell 支持多种形式的多模态输入和输出,方便处理文本、图像、音频和视频等不同类型的数据。

怜星夜思:

1、ell 还处于开发阶段,有哪些值得期待的未来功能?
2、ell 的出现是否意味着提示词工程将变得更加容易,甚至自动化?
3、你觉得 ell 对哪些行业的开发者和用户最具价值?

原文内容

机器之心报道

编辑:Panda

提示词工程不再玄学!

LLM 喜欢赞美,如果你在提示词中夸奖它是个「才华横溢的专家(genius expert)」,它就更可能为你生成更好的答案。



当然,OpenAI 的这位前研究科学家 William H. Guss 分享的这个技巧并不是新闻,之前就有不少研究者发现 AI 喜欢鼓励和赞美。


刚不久前,Huss 宣布发布了一款自称是「提示词工程的未来」工具 ell。具体来说,ell 是一款轻量级的函数式语言模型编程软件库,其优势包括自动化的版本控制和跟踪、丰富的本地开源视觉化工具、原生支持多模态数据。


项目地址:https://github.com/MadcowD/ell

该项目发布后反响热烈,网友们纷纷点赞。比如有一位网友表示一直在期待这样的工具,这将成为他构建 AI 软件栈的一个基础部分。


该项目上线一周时间就收获了 2600 多 star。


ell 的设计思路

ell 是一个轻量级的函数式提示词工程框架,其设计思路基于以下几项核心原则。

图片

提示词是程序,而不只是字符串

提示词不只是字符串,也是发送给语言模型的代码。ell 的一个设计思路是将语言模型看作是名为「语言模型程序(LMP)」的离散子程序。

图片


提示词实际上是 AI 模型的一种参数

这个观点并不新鲜,比如谷歌研究者 Heiko Hotz 就表示过一样的想法,参阅文章《》。

Huss 表示,提示词工程的执行过程涉及到多次迭代,这就类似于机器学习中的优化过程。由于这里将 LMP 视为函数,因此 ell 可为该过程提供丰富的工具。

图片


ell 支持对提示词进行自动版本控制和序列化,这需要用到动态和静态分析以及 gpt-4o-mini 自动生成的 commit 消息。这个过程类似于机器学习训练流程中的检查点管理。但它无需任何特定的 IDE 或编辑器 —— 全都可通过常规的 Python 代码实现。

用于监控、版本控制和可视化的工具

一开始的时候,提示词工程看起来就像是一种玄学。但其实只要有合适的工具,玄学也能变成科学。

Ell Studio 是一种支持提示词版本控制、监控和可视化的本地开源工具。使用此工具,提示词优化的过程可以变得有迹可循,在有必要时也能很好地回溯到之前的版本。

图片


关注多模态

我们关心的数据通常不止文本,还包括图像、音频、视频等,但使用 LLM 处理这些数据往往会更麻烦。Huss 希望在使用 LLM 时,我们能像使用文本一样轻松地使用多模态数据。

这也融合进了 ell 的设计理念。ell 支持多种形式的多模态输入和输出。

图片


提示词工程师宝玉对这个项目给出了很好的总结:


如果你也正需要一个这样的提示词工程工具,那就赶紧:
pip install ell-ai
参考链接:
https://x.com/wgussml/status/1833615864131948756
https://x.com/dotey/status/1833967258592588017

早鸟开售|「端侧 AI 大模型开发与应用实践」技术论坛·上海

端侧AI爆发元年,企业如何紧抓端侧大模型的机遇,探索行业应用,实现业务增长?研发人员如何提升技能,将大模型应用于PC、手机、家居、智能穿戴、安防、机器人等终端设备?

10月26日,论坛汇聚端侧大模型领先技术及应用企业代表,从理论到实践,助您全方位掌握端侧大模型部署应用,开启AI技术升级之路,抢占智能终端新机遇!

立即行动,扫码即刻享受限时早鸟优惠!

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

个人觉得应该加入一个提示词共享社区,大家可以分享和讨论优化后的提示词。

希望 ell 能支持更多语言,方便国际化开发者的使用。

有了 ell,我们可以更加系统和科学地进行提示词优化,这无疑会提高效率和效果。自动化只是部分方面。

此外,ell 对教育和研究领域也很有价值,因为它可以简化复杂概念的解释和促进新的发现。

我认为内容创作者和营销人员也会发现 ell 很实用,因为它可以帮助他们生成高质量的文本和创意。

ell 确实是提示词工程的一大进步,但它并不能完全自动化这一过程。提示词优化仍然需要对模型和具体任务有深入的理解。

ell 应该能为自然语言处理和对话式 AI 开发者带来极大的便利。

我期待 ell 未来能整合更强大的 AI 模型,如 GPT-4,充分发挥其潜力。