使用Higress AI网关无缝切换QwQ-32B和DeepSeek-R1大模型，降低成本，提升效率。支持多模型服务、鉴权、限流等进阶功能，解决大模型应用难题。
原文标题：大模型无缝切换，QwQ-32B和DeepSeek-R1 全都要
原文作者：阿里云开发者
冷月清谈：
怜星夜思：
2、Higress AI网关支持多模型自动切换，当一个模型出现故障时可以Fallback到其他模型。在实际应用中，如何评估Fallback模型的性能是否满足要求，以及如何避免Fallback模型也被打爆的情况？
3、文章提到了AI网关可以进行内容安全和合规性审核，那么在实际应用中，如何平衡内容审核的严格性和用户体验？过度严格的审核可能会导致误判，影响用户正常使用。
原文内容
近期，通义千问发布了最新推理模型 QwQ-32B。在各类基准测试中，拥有 320 亿参数的 QwQ 模型，其性能可与具备 6710 亿参数（其中 370 亿被激活）的 DeepSeek-R1 媲美。这意味着：
-
个人用户可以在更小的移动设备上、本地就能运行
-
企业用户推理大模型 API 的调用成本，可再降90%以上
📊 价格对比：
🔹 QwQ-32B：$0.20/M 输入, $0.20/M 输出
如果是通过云上自建（通过阿里云 PAI/ACS 等）的方式，例如阿里云 PAI：
🔹 DeepSeek R1：至少 2 台 8 卡 H20，100w+ / 年
🔹 QwQ-32B：1 台 单卡 H20，5w+ / 年
一、完整实现步骤
1. 环境准备
# 一键安装Higress（需Docker环境）
curl -sS https://higress.cn/ai-gateway/install.sh | bash
安装完成后访问控制台 http://localhost:8001，完成初始化配置。
2. 模型接入配置
-
在 Higress 控制台分别配置 DeepSeek-R1 和 QwQ-32b 的接入方式：
如果是对接厂商的模型，可以通过选择厂商名进行配置，例如：
如果是对接自建的模型，可以使用 OpenAI 兼容模式，填入 baseURL 即可：
-
在 Higress 控制台创建路由，按照匹配模型名称的路由规则转发给两个不同的模型
例如 my-qwq-32b 这条路由，匹配模型名称精确匹配 qwq-32b，转发给自建的 QwQ-32b 模型服务：
my-deepseek-r1 这条路由，匹配模型名称精确匹配 deepseek-r1，转发给自建的 DeepSeek-R1 模型服务：
因为 DeepSeek-R1 需要更多资源，可以使用 AI Token 限流插件对其进行限流：
并在触发限流后，通过模型 fallback 机制兜底到 QwQ-32b 模型：
3. 客户端调用示例（Python）
from openai import OpenAI统一访问Higress网关
client = OpenAI(
api_key=“higress-api-key”, # Higress控制台生成的二次鉴权密钥
base_url=“http://localhost:8080/v1” # Higress网关地址
)去往 deepseek 模型
response_deepseek = client.chat.completions.create(
model=“deepseek-r1”,
messages=[{“role”: “user”, “content”: “解释量子计算”}]
)去往 qwq 模型
response_qwq = client.chat.completions.create(
model=“qwq-32b”,
messages=[{“role”: “user”, “content”: “写一首七言诗”}],
)
4. 对接 QwQ-32b的效果：
QwQ 的 token 输出速度飞快，这是在单卡的h20上的效果：
二、Higress AI 网关的进阶功能
多模型服务只是 Higress AI 网关的基本能力之一，其他进阶能力还包括消费者鉴权、模型自动切换等，可以集中解决用户遇到的以下三类问题：
-
需要在 TPS 和成本之间找到平衡点，不可能无限增加资源
-
没有联网搜索，大模型幻觉依然很大
-
LLM 可观测，应用、网关、后端 LLM 服务的全链路，贴合 LLM 推理的指标
我们将 AI 网关的其他能力，汇总如下。
1. 多模型服务
大模型不存在一家独大，企业往往会实施多模型策略。企业员工在前端选择大模型，可以随意切换后端的大模型服务，例如企业内部可以部署 DeepSeek、Qwen、自建等多个大模型，由员工自行选择，以获得更加丰富、可选的生成效果。企业越是多元化，对多模型服务的需求越强烈。
需求场景：
-
多模态业务整合场景，企业需同时处理文本、图像、音频、3D 等多模态数据。研发、产品团队对推理能力强的模型需求多；客服、营销、平面设计等团队对图片大模型的场景需求多；工业设计、影视制作团队对音视频大模型的场景需求多。
-
企业业务覆盖多个垂直领域，需针对不同行业特性调用专用模型。尤其是供应链端的企业往往服务多个行业，可能会涉及多款垂直行业的大模型需求。
-
复杂任务协同场景，单一任务需多个模型分工协作以提升效果。多个大模型员工协同生成内容才能起到最佳效果。
-
安全与效率双重要求场景，例如医疗机构的场景，处理患者数据使用专属私有模型分析，其他和患者无关的需求使用通用模型，避免敏感数据和非敏感数据在写入数据库混存。
应对方案：AI 网关支持基于模型名称做不同后端模型的切换，实现同一个接口对接多种大模型服务，这些大模型服务可以分别部署在不同的平台，例如百炼、PAI、IDC 自建等，即便不同模型隶属于不同的开发和运维团队，也不存在协作成本。
2. 消费者鉴权
需求场景：
多租户模型服务分租场景：企业为不同部门或团队提供共享的大模型服务时，会通过 API Key 区分租户，确保数据隔离和权限管控。具体要求包括：
-
为每个租户分配独立 API Key，控制其调用权限和资源配额度，例如部门 A 的调用资源配额是每天每人20次，部门 B 的调用资源配额是每天每30次。
-
支持租户自定义模型参数（如温度系数、输出长度），但需通过网关校验权限。
企业内部权限分级管控：企业内部不同角色需差异化访问模型能力。具体要求包括：
-
基于 RBAC（基于角色的访问控制）限制敏感功能（如模型微调、数据导出）。
-
出于成本考虑，多模态大模型只供设计部门调用。
-
记录操作日志并关联用户身份，满足内部审计需求。例如，金融企业限制风险评估模型仅限风控部门调用，防止普通员工滥用。
实现方案：
AI 网关支持路由配置认证和消费者鉴权，实现对 API 访问的控制、安全性和策略管理，通过 API Key 的生成、分发、授权、开启授权、验证 API Key 的流程，确保只有授权的请求才能访问服务。
-
身份可信：确保请求方为注册/授权用户或系统。
-
风险拦截：防止恶意攻击、非法调用与资源滥用。
-
合规保障：满足数据安全法规及企业审计要求。
-
成本控制：基于鉴权实现精准计费与 API 配额管理。
3. 模型自动切换
需求场景：
-
模型自身特性引发的异常：大模型生成结果存在概率性波动，导致存在随机性输出不稳定的情况；发布新版本导致的流量有损。
-
用户使用不规范导致的异常：使用者请求参数不符合 API 规范，导致连接超时或中断，或者输入包含恶意构造的提示词，触发模型安全防护机制，返回空结果或错误码。
-
资源与性能限制：请求频次过高 ，触发限流策略，导致服务不可用，长请求占用过多内存，导致后续请求被阻塞，最终导致超时。
-
依赖服务故障 ：外部 API，例如 RAG 检索的数据库不可用，导致模型无法获取必要上下文。
实现方案：AI 网关支持当某个大模型服务请求失败后，Fallback 到指定的其他大模型服务，以保证服务的健壮性和连续性。
4. Token 级限流
需求场景：
虽然企业内部使用，不会频繁存在并发的需求，但通过设置限流能力，可以更经济的配置硬件资源。例如一家10000人的企业，不需要配置同时支持10000人上线的硬件资源，只需要配置7000人的硬件资源，超出部分进行限流，避免资源闲置。其他需求包括：
-
提升资源管理：大模型对计算资源的消耗不可控，限流可以防止系统过载，确保所有用户都能获得稳定性能，尤其在高峰期。
-
指定用户分层：可以基于 ConsumerId 或者 API Key 进行 Token 限流。
-
防止恶意使用：通过限制 Token 数量来减少垃圾请求或攻击，以免受到资损。
应对方案：
AI 网关提供了 ai-token-ratelimit 插件，实现了基于特定键值的 token 限流，键值来源可以是 URL 参数、HTTP 请求头、客户端 IP 地址、consumer 名称、cookie 中 key 名称。
5. 内容安全和合规
需求场景：
企业内是严肃的工作场景，自建大模型需要对生成内容进行安全和合规保证，包括过滤掉有害或不适当的内容，检测和阻止包含敏感数据的请求，并对 AI 生成内容进行质量和合规性审核。
-
金融行业敏感数据处理：审核用户输入的金融交易指令、投资咨询内容，防范欺诈、洗钱等违规行为。
对模型生成的财务报告、风险评估结果进行合规性校验。 -
医疗健康信息交互：电子病历生成内容，防止泄露患者隐私（如身份证号、诊断记录），确保 AI 生成的医疗建议符合相关法规。通过多模态大模型识别医疗影像中的敏感信息，并结合合规规则库进行自动化拦截。
-
社交媒体与 UGC 内容管理：实时审核用户发布的图文、视频内容，拦截涉黄、暴恐、虚假信息。对 AI 生成的推荐内容（如短视频标题、评论）进行合规性检查。
-
政务服务平台交互：审核公众提交的政务咨询内容，防止恶意攻击或敏感信息传播，确保 AI 生成的政策解读、办事指南符合相关法规。
-
电商与直播平台风控：审核商品描述、直播弹幕内容，拦截虚假宣传、违禁品信息，对 AI 生成的营销文案进行广告法、合规性检查。
应对方案：
AI 网关接入了阿里云内容安全，对面向大语言模型的输入指令和生成文字分别提供审核服务。包括：
-
防止攻击：验证输入可以阻止恶意提示注入，防止模型生成有害内容。
-
维护模型完整性：避免输入操纵模型，导致错误或偏见输出。
-
用户安全：确保输出没有有害或误导性内容，保护用户免受不良影响。
-
内容适度：过滤掉不适当的内容，如仇恨言论或不雅语言，特别是在公共应用中。
-
法律合规：确保输出符合法律和伦理标准，尤其在医疗或金融领域。
6. 语义缓存
需求场景：
大模型 API 服务定价分为每百万输入 tokens X 元（缓存命中）/ Y 元（缓存未命中），X 远低于 Y，以通义系列为例，X 仅为 Y 的40%，通过在内存数据库中缓存大模型响应，并以网关插件的形式来改善推理的延迟和成本。在网关层自动缓存对应用户的历史对话，在后续对话中自动填充到上下文，从而实现大模型对上下文语义的理解。例如
-
高频重复性查询场景：客服系统、智能助手等场景中，用户常提出重复问题（如“如何重置密码”“退款流程”），通过缓存常见问题的回答，避免重复调用模型，降低调用成本。
-
固定上下文多次调用场景：法律文件分析（如合同条款解读）、教育教材解析（如知识点问答）等场景，需对同一长文本多次提问。通过缓存上下文，避免重复传输和处理冗余数据，提升响应速度，降低调用成本。
-
复杂计算结果复用场景：数据分析与生成场景（如财报摘要、科研报告生成），对相同数据集的多次分析结果缓存，避免重复计算。
-
RAG（检索增强生成）场景中：缓存知识库检索结果（如企业内部 FAQ），加速后续相似查询的响应。
应对方案：
AI 网关提供了扩展点，可以将请求和响应的内容缓存到 Redis 中，并支持配置 Redis 服务信息、设置缓存时间。
7. 联网搜索+获取检索网页的全文
需求场景：
联网搜索已经成为大模型的标配。如果不支持联网搜索，或者支持联网搜索，仅能获取网页标题、摘要、关键词而非全文，内容生成效果都会大打折扣。
应对方案：
AI 网关通过以下增强，实现了联网搜索+获取检索网页的全文：
-
LLM 重写 Query：基于 LLM 识别用户意图，生成搜索命令，可以大幅提升搜索增强效果。
-
关键词提炼：针对不同的引擎，需要生成不同的提示词，例如 Arxiv 里英文论文居多，关键词需要用英文。
-
领域识别：以 Arxiv 举例，Arxiv 划分了计算机科学/物理学/数学/生物学等等不同学科下的细分领域，指定领域进行搜索，可以提升搜索准确度。
-
长查询拆分：长查询可以拆分为多个短查询，提高搜索效率高质量数据：Google/Bing/Arxiv 搜索都只能输出文章摘要，而基于阿里云信息查询服务 IQS 对接 Quark 搜索，可以获取全文，可以提高 LLM 生成内容的质量典型应用场景效果展示。
8. 大模型可观测
需求场景：
可观测常见于成本控制和稳定性场景。由于大模型应用的资源消耗比 Web 应用更加敏感和脆弱，因此成本控制对可观测的需求更为强烈，如果缺少完备的可观测能力，异常掉用可能会耗费几万甚至几十万的资损。
除了QPS、RT、错误率等传统观测指标，大模型的可观测还应具备：
-
基于 consumer 的 token 消耗统计。
-
基于模型的 token 消耗统计。
-
限流指标: 每单位时间内有多少次请求因为限流被拦截，限流消费者统计（是哪些消费者在被限流）。
-
缓存命中情况。
-
安全统计：风险类型统计、风险消费者统计。
应对方案：
AI 网关支持查看网关监控数据，在商业版上开启日志投递、链路追踪、以及如何通过云原生 API 网关查看 REST API 和接口的监控数据。这些功能将帮助您更高效地管理和优化接口性能，同时提升整体服务质量。此外，通过 SLS 还可以汇总 Actiontrail 事件、云产品可观测日志、LLM 网关明细日志、详细对话明细日志、Prompt Trace 和推理实时调用明细等数据汇总，从而建设完整统一的可观测方案。
三、Higress AI 网关的商业版服务
如果您已经在阿里云上自建大模型应用，希望快速获取开箱即用的 AI 网关能力，并在性能、稳定性、和阿里云其他云产品有更高的交付标准，可以直接使用阿里云云原生 API 网关，相比开源，云原生 API 网关的优势包括：
零门槛，即刻拥有 DeepSeek-R1 满血版
DeepSeek 是热门的推理模型，能在少量标注数据下显著提升推理能力，尤其擅长数学、代码和自然语言等复杂任务。本方案涵盖云上调用满血版 DeepSeek 的 API 及部署各尺寸模型的方式，无需编码，最快 5 分钟、最低 0 元即可实现。
点击阅读原文查看详情。