跳到主要内容

系统要求

文中所述系统要求为 应用服务本身 的系统运行要求,仅涵盖应用进程所需的计算与内存资源。不包含依赖的第三方服务,包括但不限于:

  • API 网关 / 反向代理
  • 数据库服务(如 MySQL、PostgreSQL)
  • 缓存服务(如 Redis)
  • 消息队列、对象存储等中间件

除仅用于功能验证或试验性的场景外,强烈建议将上述第三方服务独立部署 于单独的服务器或容器中,或直接使用相关的云服务。

相关服务的系统配置和容量规划应根据 实际数据量、业务负载和并发规模 单独评估与调优。

单节点部署模式

单节点部署模式指应用服务仅运行于单一服务器或容器实例中。

最低硬件要求

资源要求操作系统
CPU8 核CentOS7.4+
内存16 GBDocker18.06+
磁盘空间200GB SSD

适用场景

  • 微型业务
  • 功能验证(POC)
  • 开发 / 测试环境
  • 几乎无并发访问的场景

提示

  • 该配置仅保证系统可运行,不保证性能体验。
  • 当数据量或并发请求增长时,系统资源可能迅速成为瓶颈。

推荐硬件要求

资源推荐配置操作系统
CPU8 核CentOS7.4+
内存32 GBDocker18.06+
磁盘空间300GB SSD
适用场景
适用于中小型业务及少量并发的生产环境。

提示

  • 在该配置下,系统可满足常规管理后台操作及轻量级业务负载。
  • 当业务复杂度、并发访问或后台任务增多时,应考虑升级硬件规格或迁移至集群模式。

模型服务器硬件资源概览

组件规格备注
显存(VRAM)128GB支持 FP16 全参数加载 32B 模型并保留充足上下文空间
内存 (RAM)128GB满足模型加载时的内存交换及高并发数据预处理需求
存储(SSD)500GB NVMe建议用于存放模型权重(Qwen32B约占65G+)及索引数据库
适用场景生产级 RAG 工作流支持高频对话+深度知识库检索