阿里云百炼:5步教你零基础玩转大模型自定义插件

手把手教你如何在阿里云百炼上创建大模型自定义插件,以万相文生图V2版模型为例,实现个性化功能,提升AI应用开发效率。

原文标题:5步教你创建大模型自定义插件

原文作者:阿里云开发者

冷月清谈:

本文介绍了如何在阿里云百炼平台上创建大模型自定义插件,以万相文生图V2版模型为例,详细阐述了从新建插件、配置工具、测试工具到发布插件的完整流程。通过自定义插件,开发者可以填补功能空白、提高工作效率、增强用户体验,实现业务中的特殊功能。文章以简明扼要的步骤,指导读者如何参照官方文档配置插件参数,并通过实际案例展示了文生图插件的应用效果。此外,还提及了自定义插件的来源多样性,以及后续文章将介绍如何将自定义插件应用到百炼工作流中,以生成图文并茂的文章。

怜星夜思:

1、文章是以阿里云百炼平台为例讲解自定义插件的创建,那么其他类似的大模型开发平台,创建自定义插件的思路和步骤是否也大同小异?如果不同,主要差异会在哪些方面?
2、文章中提到了自定义插件可以来自云市场、开源社区等,那么我们在选择这些第三方插件时,应该注意哪些问题,以确保安全性和可靠性?
3、文章中创建的文生图插件,主要依赖于万相模型的API。如果万相模型的API发生了变化(例如参数修改、接口升级),我们应该如何快速更新和维护自定义插件?

原文内容

阿里妹导读


阿里云百炼不仅支持内置的标准操作,还允许开发者根据自身需求创建自定义插件,极大地提升了灵活性与效率。快来看看0基础怎么玩转大模型之自定义插件吧~

引言

大模型自定义插件是指为增强大型AI模型的功能或适配特定场景需求,开发者通过编程接口(API)或特定框架设计的外部扩展模块。这些插件允许大模型在不修改底层参数的情况下,动态接入外部工具、数据源或服务,从而扩展其能力边界。

阿里云百炼[1]是企业级大模型开发平台,作为强大的自动化工具,深度聚焦于人工智能与机器学习的前沿技术,可以轻松打造最优落地效果的AI应用。它不仅提供了丰富的多模态模型调用服务,还简化了在线模型训练与部署流程,允许用户通过拖拽式的界面设计复杂的业务逻辑流程,让开发者能够轻松驾驭大模型,加速创新应用的开发,推动AI技术在各行业的广泛应用。

在很多场景下,百炼工作流都提供了丰富的内置功能,但在特殊情况下,开发者仍然需要根据自身需求创建自定义插件,例如:

  • 填补功能空白:针对特定需求开发专属功能,如本文介绍的文生图能力。

  • 提高工作效率:减少重复性劳动,加速内容生产周期。

  • 增强用户体验:为用户提供更加个性化、定制化的服务体验。

那么本文就教大家如何创建一个自定义插件,实现业务中的特殊功能。

如何创建自定义插件

我们以万相文生图V2版模型为例,构建一个文生图的自定义插件,并将该插件应用在工作流中。

先来看下万相2.1文生图效果,语义理解更加准确,效果更好,支持任意分辨率和比例,更多信息,可以百炼的官方文档:查看文档[2]。


1、新建自定义插件

登录阿里云账号,搜索百炼,或者直接打开百炼链接:https://bailian.console.aliyun.com/ 选择应用组件-自定义插件,新建自定义插件,并填写相关参数。

🚩 Authorization对应的Bearer信息。格式为:Bearer APIKEYAPI KEY右上角点头像可以查看。

🚩 插件URL: https://dashscope.aliyuncs.com/api/v1 

至于参数为啥这么填?是因为官方文档中,这个模型就是这么调用的。参考官方文档[1]来填就行。


2、创建工具

废话不多说,照着下图填就行。注意,工具路径:/services/aigc/text2image/image-synthesis

上述具体填写的参数内容,也是根据官方文档来的[1]


3、测试工具

点击工具测试,高效一点,选择代码编辑模式,可以直接copy下面这段代码。开始运行:

{
   "model": "wanx2.1-t2i-turbo",
   "input": {
       "prompt": "雪地,白色小教堂,极光,冬日场景,柔和的光线。",
       "negative_prompt": "人物"
   },
   "parameters": {
       "size": "1024*1024",
       "n": 1
   }
}

如果运行结果是这样的,PENDING也不要慌,没报错基本上就测试成功了。!!!这里的task_id一定要copy下来,后面会用到。测试成功以后点击发布。


4、如法炮制第二个工具

这一页写的东西有点多,先不用管那么多,先照抄!

工具路径:/tasks/{task_id}

抄完上图后,我们来分析一下,为什么要这样设置参数呢?上述具体的输入输出参数,同样需要依据对应的文档来填写。文档链接[1]

这里为了方便演示在插件配置当中我们只需要填写我们需要的几个参数即可,如果 您需要其他参数请添加全部的参数,按照下图这么写。


5、测试&发布

刚才保存下来的task_id在这里输入。

看到这句话:"task_status": "SUCCEEDED", 就代表测试成功了👏👏👏。

看看大模型给我们生成的图长啥样? 

copy运行结果中的url,放在浏览器里,直接下载到本地。我的图是这样的,还不错

第二个工具别忘了【发布】保证工具都是启用状态:

好了,四舍五入,其他模型如何构建自定义插件了,已经学会了吧!在阿里云百炼[5]构建自定义插件,照着文档,定义好输入和输出参数就行,是不是很简单! 

最后

其实,自定义插件也可以来自云市场、开源社区等公开的API接口,按照之前的方式进行配置,我们就可以拥有无限的插件。

最后预告一下,下一篇文章,我们将手把手带大家,如何利用刚才做的自定义插件,加在百炼的工作流里,帮我们生成一篇图文并茂的文章。

参考链接:

[1]https://bailian.console.aliyun.com/#/home

[2]https://help.aliyun.com/zh/model-studio/developer-reference/text-to-image-v2-api-reference

安全第一!一定要看清楚插件的开发者是谁,有没有相关的资质认证。其次,看看有没有其他用户用过这个插件,他们的评价怎么样。如果插件需要访问你的敏感数据,一定要慎重考虑。最后,定期检查你的插件,看看有没有安全漏洞。

最有效的办法是订阅万相模型的更新通知,一旦API有变动,第一时间收到消息。然后,评估这次变动对你的插件的影响,尽快修改代码并进行测试。如果你的插件用户比较多,最好先发布一个beta版本,让部分用户试用,收集反馈后再正式发布。

需要密切关注万相模型的官方文档和更新公告,及时了解API的变化。然后,根据新的API调整自定义插件的代码和配置,包括请求参数、返回数据处理等。更新完成后,需要进行充分的测试,确保插件仍然能够正常工作。

选择第三方插件时,首先要关注插件的开发者信誉和用户评价。其次,要仔细阅读插件的权限申请,避免授权过多不必要的权限。最好选择有代码审计或安全认证的插件。另外,可以自己进行简单的测试,看插件是否稳定可靠。

API变动简直是程序员的噩梦!我的经验是,在设计插件的时候,尽量采用松耦合的设计,把API调用部分封装起来,这样即使API变了,也只需要修改封装层就可以了。另外,可以考虑使用API版本控制,同时支持多个版本的API,这样即使API升级了,旧版本的插件仍然可以继续使用一段时间。

其他平台创建自定义插件的思路大体相同,都是定义输入输出、API对接等。主要差异可能在平台提供的API接口、认证方式、开发语言支持和插件管理方式上。有些平台可能更注重图形化界面操作,而有些则更偏向代码实现。具体要看各个平台的文档和示例。

我觉得思路肯定是一致的,都是为了扩展大模型的能力。但是具体实现上,不同平台肯定有自己的特点。比如,有的平台可能对插件的安全性要求更高,需要进行严格的审核;有的平台可能更注重插件的生态建设,提供更多的开发者支持。总之,核心思想不变,细节各有千秋。

我补充一点,除了看开发者信誉和用户评价之外,还要注意插件的更新频率。一个长期不更新的插件,可能存在未知的安全风险。另外,如果插件是开源的,可以考虑自己进行代码审计,或者请专业人士帮忙评估一下。总之,安全无小事,小心驶得万年船!

这个问题问得好!我之前也尝试过在不同的平台上开发插件。感觉就像是装修房子,虽然都是为了住得更舒服,但是每个房子的结构不一样,装修的材料和风格也会有所区别。大模型平台也是一样,虽然目标都是增强模型功能,但是底层的技术架构、API设计以及安全策略等方面的差异,都会导致插件创建的流程和方法有所不同。