当ManusAI单节点吞吐达GPU显存上限或API延迟超800ms时，须通过负载均衡分发任务至多推理节点；先用metrics命令确认瓶颈类型（GPU算力或网络/CPU阻塞），再依Docker Compose或K8s部署3节点集群，最后配置Model Router启用加权轮询路由并验证分发效果。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
当ManusAI单节点吞吐量接近GPU显存上限或API响应延迟持续超过800ms时，必须通过负载均衡将任务分发至多个推理节点，否则新任务会排队等待、超时失败率陡增。
确认当前瓶颈类型
执行curl -s http://localhost:8000/metrics | grep -E "(gpu_util|queue_length|http_request_duration_seconds_sum)"，若gpu_util长期＞92%且queue_length＞15，则为GPU算力瓶颈；若http_request_duration_seconds_sum突增但GPU利用率＜70%，说明是网络或CPU调度阻塞。
这一步不能跳过——误判瓶颈会导致后续扩容完全无效。比如把CPU瓶颈强行加GPU节点，只会让闲置GPU拖慢整体调度效率。
部署多节点推理集群
方法一：用Docker Compose启动3个DeepSeek-R1节点（推荐）
在docker-compose.yml中定义服务：
services:
deepseek-node-1:
image: deepseek-r1:2.5
ports: ["8001:8000"]
environment:
- CUDA_VISIBLE_DEVICES=0
deepseek-node-2:
image: deepseek-r1:2.5
ports: ["8002:8000"]
environment:
- CUDA_VISIBLE_DEVICES=1
deepseek-node-3:
image: deepseek-r1:2.5
ports: ["8003:8000"]
environment:
- CUDA_VISIBLE_DEVICES=2
运行docker compose up -d后，三个节点分别监听8001/8002/8003端口，【CUDA_VISIBLE_DEVICES必须严格对应物理GPU编号，填错会导致节点无法加载模型】。
方法二：直接复用现有K8s集群（已有运维团队时首选）
用kubectl apply -f deepseek-deployment.yaml部署StatefulSet，关键配置：
spec:
replicas: 3
template:
spec:
containers:
- name: deepseek
ports:
- containerPort: 8000
env:
- name: NVIDIA_VISIBLE_DEVICES
value: "0,1,2" # 与节点GPU数量一致
volumeClaimTemplates: # 每个Pod独占NVMe缓存盘
- metadata:
name: model-cache
配置ManusAI的Model Router
第一步：修改config/config.toml中的[model_router]区块
启用动态路由：
[model_router]
enabled = true
strategy = "weighted_round_robin"
DeepSeek
DeepSeek是一款由深度求索公司开发的免费AI助手，支持Web端和移动端使用。它拥有强大的自然语言处理能力，可进行文本对话、内容创作、代码编写、文件处理（支持图像、PDF、Word、Excel、PPT等格式）以及联网搜索。DeepSeek上下文长度达1M tokens，能一次性处理海量信息（如《三体》三部曲）。其核心优势在于完全免费、响应迅速、支持语音输入，并提供API服务，适合学习、办公和开发等多种场景。
下载
第二步：声明后端节点列表
[[model_router.backends]]
name = "gpu-a100-01"
url = "http://deepseek-node-1:8000/v1"
weight = 3 # 权重越高分配任务越多
[[model_router.backends]]
name = "gpu-a100-02"
url = "http://deepseek-node-2:8000/v1"
weight = 2
[[model_router.backends]]
name = "gpu-a100-03"
url = "http://deepseek-node-3:8000/v1"
weight = 1
第三步：强制刷新路由缓存
向ManusAI主服务发送POST请求：
curl -X POST http://localhost:8000/api/v1/router/reload
此时所有新进任务会按权重比例分发到三个节点，权重总和不必为6——实际生效的是相对比值，3:2:1和6:4:2效果完全相同。
验证负载分发效果
① 在三个DeepSeek节点上分别执行watch -n 1 'nvidia-smi --query-gpu=utilization.gpu --format=csv,noheader'，观察GPU使用率是否同步波动而非单点飙升。
② 向ManusAI发起连续10次高并发请求：
for i in {1..10}; do curl -s -o /dev/null -w "%{http_code}\n" http://localhost:8000/v1/chat/completions & done; wait
③ 检查各节点日志中的task_id分布：
grep -r "task_id" /var/log/deepseek-node-* | cut -d' ' -f1 | sort | uniq -c
如果三个节点的task_id数量比值接近3:2:1，说明路由配置已生效。
