Add quick LLM provider setup

This commit is contained in:
2026-07-07 13:12:27 +08:00
parent bcdf91c85d
commit dada4aafcd
5 changed files with 208 additions and 88 deletions

View File

@@ -35,11 +35,12 @@
| D-012 | 大模型真实调用先按 OpenAI 兼容 `chat/completions` 非流式响应接入。 | 默认采用 | 先打通配置化真实模型调用和失败日志,后续再升级为模型原生流式透传。 |
| D-013 | 管理后台开发阶段支持首次登录自动创建默认管理员。 | 默认采用 | 降低本地初始化成本;生产环境必须修改默认账号密码。 |
| D-014 | 管理后台 Element Plus 先整体引入,后续再做按需导入优化。 | 已调整 | 阶段五优先保证后台功能闭环和交付速度;已在 D-019 调整为按需注册。 |
| D-015 | 模型管理按“OpenAI 兼容协议 + 原生协议”两类补全。 | 默认采用 | DeepSeek、通义千问兼容模式、Kimi、硅基流动、火山方舟优先走 OpenAI 兼容Anthropic Messages、Gemini generateContent 保留原生协议适配。 |
| D-015 | 模型管理按“快速厂商 + 协议通用配置”补全。 | 已调整 | DeepSeek 和 MiniMax 提供快速添加;其他供应商按 OpenAI 兼容协议或 Anthropic Messages 协议添加。 |
| D-016 | 模型配置支持 `baseUrl` 自动拼接接口,同时保留 `apiUrl` 覆盖能力。 | 默认采用 | 降低普通配置成本,同时给特殊代理网关、私有化模型和供应商非标准路径保留出口。 |
| D-017 | 编辑模型时 API Key 留空表示保留旧密钥。 | 默认采用 | 减少密钥重复暴露,避免后台人员只改参数时误覆盖密钥。 |
| D-018 | 模型高级参数用 JSON 对象透传。 | 默认采用 | 用较低成本兼容供应商差异,避免数据库字段无限膨胀。 |
| D-019 | 管理后台 Element Plus 改为按需注册,并拆分表格和基础 vendor chunk。 | 默认采用 | 解决后台构建单 chunk 过大的提示,降低首屏主入口体积,同时不引入额外构建插件。 |
| D-020 | MiniMax 快速添加默认使用 Anthropic Messages 兼容协议。 | 默认采用 | MiniMax 文本生成指南推荐 Anthropic-compatible 路径;后端按 `auth_type` 兼容 Bearer 和 x-api-key 两种鉴权。 |
## 待确认决策

View File

@@ -4,16 +4,16 @@
## 本次目标
把管理后台的模型管理从“只保存一个 OpenAI 兼容地址”补全为可维护的第三方 LLM 配置能力,后续可以支持 OpenAI、DeepSeek、通义千问兼容模式、Kimi、硅基流动、火山方舟、Anthropic Claude、Google Gemini 等供应商
把管理后台的模型管理从“只保存一个 OpenAI 兼容地址”补全为可维护的第三方 LLM 配置能力。当前交互收敛为两个常用厂商快速添加,以及两种协议级通用添加
## 参考口径
本次以各供应商公开接口文档的共同配置项为基础,不绑定某一个供应商 SDK
- OpenAI 兼容类:统一使用 `chat/completions` 风格,支持 `model``messages``temperature``top_p``max_tokens``stream``response_format` 等常见参数。
- DeepSeek、硅基流动、通义千问兼容模式、Kimi、火山方舟优先作为 OpenAI 兼容协议接入,通过不同 `Base URL``modelName` 区分
- Anthropic Claude使用 Messages API 原生协议,鉴权使用 `x-api-key`,并支持 `anthropic-version`
- Google Gemini使用 `generateContent` 原生协议,生成参数放在 `generationConfig`
- Anthropic Messages 类:统一使用 `/v1/messages` 风格,支持 `model``messages``system``max_tokens` 等常见参数
- DeepSeek作为快速添加厂商默认走 OpenAI 兼容协议
- MiniMax作为快速添加厂商默认走 Anthropic Messages 兼容协议
## 已完成
@@ -50,16 +50,13 @@
### 管理后台
- 模型管理表单改为完整配置面板
- 新增供应商预设
- OpenAI
- DeepSeek
-义千问 DashScope
- Kimi / Moonshot
- 硅基流动 SiliconFlow
- 火山方舟 Ark
- Anthropic Claude
- Google Gemini
- 模型管理表单改为“快速添加 + 按协议添加”两段
- 新增快速添加
- DeepSeek填写 API Key选择 `deepseek-v4-pro``deepseek-v4-flash`
- MiniMax填写 API Key选择 MiniMax-M3、MiniMax-M2.7、MiniMax-M2.5 等模型。
-用添加只保留协议模板:
- OpenAI 兼容协议。
- Anthropic Messages 协议。
- 新增参数配置:
- 协议类型
- Base URL
@@ -88,12 +85,13 @@
| 编号 | 决策 | 原因 |
| --- | --- | --- |
| M-001 | 第三方 LLM 分为 OpenAI 兼容协议和原生协议两类。 | 国内多数供应商提供 OpenAI 兼容模式用统一协议可以减少重复代码Anthropic、Gemini 保留原生协议以避免参数结构不匹配。 |
| M-001 | 第三方 LLM 分为 OpenAI 兼容协议和 Anthropic Messages 协议两类。 | 这两类是当前 Agent/LLM 配置中最常见的接入形态,后台不再为每个供应商堆大量预设。 |
| M-002 | `apiUrl` 可以为空,优先由 `baseUrl + apiType` 自动拼接。 | 后台人员更容易配置,只要填供应商 Base URL 和模型名即可;高级场景仍可用 API URL 覆盖。 |
| M-003 | 编辑模型时 API Key 留空表示不修改。 | 避免密钥频繁暴露和重复粘贴,降低误改风险。 |
| M-004 | 高级参数使用 JSON 对象透传。 | 保留不同供应商的扩展能力,同时避免每个小参数都单独改数据库结构。 |
| M-005 | Anthropic、Gemini 预设默认不强行填采样参数。 | 部分模型对非默认采样参数较敏感,预设应先保证能通,再由后台人员按需调整。 |
| M-005 | Anthropic Messages 协议模板默认不强行填采样参数。 | 部分模型对非默认采样参数较敏感,协议模板应先保证能通,再由后台人员按需调整。 |
| M-006 | 模型测试接口直接调用真实供应商。 | 这是后台配置验收动作,应该真实发现 Key、URL、模型名和参数错误。 |
| M-007 | DeepSeek 和 MiniMax 作为快速添加厂商。 | 一期高频模型供应商不需要后台人员理解协议细节,只填 API Key 和模型即可。 |
## 当前边界
@@ -101,6 +99,7 @@
- 流式输出字段已保存,但当前真实模型调用仍以非流式方式完成,用户端 SSE 分块由后端模拟输出。
- 不同供应商的费用、限流、区域和模型上下文窗口仍需要运营配置时自行确认。
- `extra_params` 由后台人员自行维护,系统只校验 JSON 对象格式,不校验供应商语义。
- 后端仍保留 Gemini generateContent 适配代码,但当前后台入口不再暴露 Gemini 协议模板;如后续确认为高频供应商,再单独设计快速入口。
## 本次验证