跳到主要内容

Miner CLI 概览

本文档描述 miner-cli 的定位、能力边界和部署文件结构。

定位

miner-cli 是面向单台 NVIDIA GPU Linux 主机的 Docker 化 LLM 部署助手

它刻意保持较小范围:

  • 不做调度器
  • 不做集群控制面
  • 不做多租户平台
  • 只处理 config → Compose → container → health check 的链路

核心能力

miner-cli 可以:

  • 检查机器是否具备 GPU 容器运行条件
  • 生成起步 YAML 配置
  • 渲染 Docker Compose 文件
  • 启动 vllmsglang 容器
  • 运行 GPU 和运行时 smoke test
  • 等待 /v1/models 就绪
  • 管理 logs、status、stop、restart、remove、list
  • 按配置加入 dcgm-exporterminer-agent sidecar

部署文件位置

渲染后的部署文件位于:

~/.miner-cli/deployments/<name>/
文件用途
config.yaml源部署配置副本
compose.yaml渲染后的 Docker Compose 文件
.env包含配置指定的 Hugging Face token 变量

支持的 Engine

当前支持:

  • vllm当前聚焦
  • sglang(后续支持)

镜像标签策略

生成配置时支持 stablelatest 镜像策略:

Engine默认镜像
vllmvllm/vllm-openai:latest
生产建议

vllm 镜像使用浮动 latest 标签时,miner-cli 会在 initruntime prepareup 中提示警告。生产部署建议显式固定 image

相关文档