feat: route background ai workloads by model
This commit is contained in:
@@ -163,6 +163,25 @@ PERIODIC_REPORT_STALE_MINUTES=30
|
||||
PERIODIC_REPORT_MAX_ATTEMPTS=3
|
||||
```
|
||||
|
||||
## 多模型分流
|
||||
|
||||
模型管理现在区分两个概念:
|
||||
|
||||
- 可用模型:允许后台任务选择,可同时启用多个;
|
||||
- 默认主模型:只能有一个,正式用户聊天、追问改写和检索重排始终使用它。
|
||||
|
||||
周期报告会选择“周期报告”能力已开启的可用模型,主题摘要和成长档案会选择“摘要沉淀”能力已开启的可用模型。若找不到匹配模型,会自动回退默认主模型,不会因为分流配置缺失直接中断任务。
|
||||
|
||||
部署迁移后,旧版本原来启用的模型会自动成为默认主模型。新增其他模型时建议按以下顺序操作:
|
||||
|
||||
1. 保存模型并执行“测试”;
|
||||
2. 加入可用池;
|
||||
3. 只勾选它实际承担的能力;
|
||||
4. 如需让低成本模型承担报告,应取消默认主模型的“周期报告”能力,避免默认模型优先命中;
|
||||
5. 在数据看板“模型使用与成本”中核对实际模型和成本。
|
||||
|
||||
停用或删除唯一默认主模型会被后端拒绝,必须先启用并设置替代主模型。该限制用于避免生产聊天突然变成无模型可用。
|
||||
|
||||
## 回滚原则
|
||||
|
||||
1. 先停止新版本服务。
|
||||
|
||||
Reference in New Issue
Block a user