跳到主要内容

VLLM配置

本章节介绍如何在系统中接入本地部署的 vLLM 模型 服务，用于快速完成模型注册与调用。

一、添加模型​

在添加模型之前需先 部署 并 启动 相关模型

进入系统后台，打开 模型库 页面，选择 vLLM 类型

配置：

  • 默认 Base URL (键入私有化模型部署的主机所在IP)
  • 默认 API Key (没有设置密钥则留空)

点击 保存配置 ，提示 vLLM连接校验通过 方可进行下一步

若不通过，请检验：

  • IP/端口是否可访问
  • 模型配置是否正确
  • 模型启动是否成功

点击 添加模型

二、参数说明​

在添加模型页面中，需要填写以下参数：

  • 模型名称 ： 自定义填写，用于区分不同模型（建议使用易识别名称）
  • 模型标识 ： 必须与 模型启动时指定的唯一标识 一致(否则无法正常调用)
  • 能力类型 ： 根据模型实际能力选择，如：对话(LLM) / 重排序(rerank) / 向量化(embedding) 等
  • Base URL ： vLLM 服务地址，在 默认 Base URL 后添加该模型对应的端口号( 模型启动 时设定)即可(例如：http://localhost:8000)
  • API Key ： 若服务未设置鉴权，可留空
  • 请求路径 ： 由系统自动获取，无需手动填写
  • 高级设置 ： 可选项，用于配置请求参数（如 temperature、max_tokens 等），如无特殊需求可保持默认

三、保存与启用模型​

填写完成后：

  1. 点击右下角 保存模型
  2. 在模型列表中将该模型设为默认模型
  3. 后续即可在 默认模型 中选择并使用

如果保存失败请检查：

  • 模型标识是否正确
  • 能力类型是否匹配
  • Base URL 中端口号是否与该模型所在端口匹配

如下图所示：

四、使用​

配置完成后：

  • 系统将默认使用选择的模型作为本地模型服务
  • 可在 应用 中直接调用

五、注意事项​

  • 为正常使用灵州AI平台全套功能需要至少接入对话、重排序(rerank)、向量化(embedding)三种模型各一个，请确认三种模型服务均可供使用 (如需使用私有化模型另见→模型部署)
  • 请确保 vLLM 服务已正常启动，并且接口可访问
  • 模型标识 必须严格匹配，否则会出现调用失败
  • 若调用异常，可优先检查 Base URL 和端口配置