系统要求
文中所述系统要求为 应用服务本身 的系统运行要求,仅涵盖应用进程所需的计算与内存资源。不包含依赖的第三方服务,包括但不限于:
- API 网关 / 反向代理
- 数据库服务(如 MySQL、PostgreSQL)
- 缓存服务(如 Redis)
- 消息队列、对象存储等中间件
除仅用于功能验证或试验性的场景外,强烈建议将上述第三方服务独立部署 于单独的服务器或容器中,或直接使用相关的云服务。
相关服务的系统配置和容量规划应根据 实际数据量、业务负载和并发规模 单独评估与调优。
单节点部署模式
单节点部署模式指应用服务仅运行于单一服务器或容器实例中。
最低硬件要求
| 资源 | 要求 | 操作系统 |
|---|---|---|
| CPU | 8 核 | CentOS7.4+ |
| 内存 | 16 GB | Docker18.06+ |
| 磁盘空间 | 200GB SSD |
适用场景:
- 微型业务
- 功能验证(POC)
- 开发 / 测试环境
- 几乎无并发访问的场景
提示
- 该配置仅保证系统可运行,不保证性能体验。
- 当数据量或并发请求增长时,系统资源可能迅速成为瓶颈。
推荐硬件要求
| 资源 | 推荐配置 | 操作系统 |
|---|---|---|
| CPU | 8 核 | CentOS7.4+ |
| 内存 | 32 GB | Docker18.06+ |
| 磁盘空间 | 300GB SSD | |
| 适用场景: | ||
| 适用于中小型业务及少量并发的生产环境。 |
提示
- 在该配置下,系统可满足常规管理后台操作及轻量级业务负载。
- 当业务复杂度、并发访问或后台任务增多时,应考虑升级硬件规格或迁移至集群模式。
模型服务器硬件资源概览
| 组件 | 规格 | 备注 |
|---|---|---|
| 显存(VRAM) | 128GB | 支持 FP16 全参数加载 32B 模型并保留充足上下文空间 |
| 内存 (RAM) | 128GB | 满足模型加载时的内存交换及高并发数据预处理需求 |
| 存储(SSD) | 500GB NVMe | 建议用于存放模型权重(Qwen32B约占65G+)及索引数据库 |
| 适用场景 | 生产级 RAG 工作流 | 支持高频对话+深度知识库检索 |