本文说明通过 Helm 在可访问 Chart 和镜像仓库的 Kubernetes 集群中部署 HAMi 商业产品。本文不包含离线安装流程。
💡 安装不等于激活。完成 Helm 安装后,组件可以运行;GPU 虚拟化和调度功能需要完成许可证激活后才能正常使用。
为什么选择在线安装
在线安装适用于具备 Kubernetes、Helm 和镜像仓库运维能力,并需要较高配置自由度的客户。组件版本、部署顺序和 values 配置可由客户按照自身基础设施与变更流程自行管理。
网络隔离环境请参阅对应的离线部署手册。本文适用于可访问 Chart 和镜像仓库、需要自行维护组件版本、镜像来源及配置的在线 Helm 安装。
部署范围与前置条件
组件选择
| 组件 | 何时安装 | 说明 |
|---|---|---|
| HAMi Enterprise | 所有集群 | 核心调度器与设备插件,必须安装。 |
| NVIDIA GPU Operator | 需要由 GPU Operator 管理 NVIDIA 组件时按需安装;节点已有兼容的驱动、Toolkit 和运行时配置时可跳过 | HAMi 与 GPU Operator 的默认 device-plugin 不能同时启用。 |
| 昇腾设备插件 | 使用昇腾节点 | 在 HAMi 安装完成后部署,复用 HAMi 的设备配置 ConfigMap。 |
| Prometheus 监控栈 | 需要指标采集,且集群没有兼容的 Prometheus 或 VictoriaMetrics 时 | 集群已有兼容的监控栈时无需重复安装。 |
| HAMi AI Platform | 需要平台控制台、工作负载管理和监控视图 | 可选;依赖 Gateway API、兼容的 Prometheus 查询端、PostgreSQL 和 HAMi Metering。 |
| PPU 设备插件与监控 | 使用 PPU 节点 | Chart 0.0.5、插件 v1.0.6,仅支持 amd64;需先准备 PPU 驱动与运行时。 |
| 资源池管理(RPM) | 需要资源池划分与访问授权 | 要求 Kubernetes ≥ 1.30 和 HAMi extender 模式;设备类型需与所用 manager 版本匹配,本版本不支持 PPU。 |
前置检查
-
Kubernetes 版本不低于 1.24,并且运维终端已配置可用的
kubectl和 Helm。 -
NVIDIA 节点应已具备 NVIDIA 驱动和 NVIDIA Container Toolkit,或由 NVIDIA GPU Operator 负责安装。
-
昇腾节点应先完成厂商驱动与运行时配置,并能被 Kubernetes 识别;本文只安装 HAMi 的昇腾设备插件。
-
安装 NVIDIA GPU Operator 时,必须禁用其默认 device-plugin,避免与 HAMi 冲突。
kubectl cluster-info
kubectl get nodes -o wide
helm version
在线安装
执行安装命令前,确认当前 kubeconfig context 指向目标集群,并将各节的示例 values 保存为命令中引用的文件。下文使用已验证可匿名访问的杭州 ACR 镜像;HAMi 的 kube-scheduler 使用 Chart 默认的阿里云国内镜像。若集群只能使用内部仓库,请将对应镜像同步到内部仓库,并配置拉取凭据。
安装 HAMi Enterprise
helm install hami \
oci://dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/charts/hami-enterprise \
--version 2.11.0-r0 \
--namespace hami-system \
--create-namespace \
-f hami-enterprise-values.yaml
示例 values 文件
下方 values 让 HAMi Enterprise 和证书 Job 从杭州 ACR 拉取镜像。设置 global.imageSource: cn 后,kube-scheduler 使用阿里云国内镜像,Chart 按集群 Kubernetes 版本选择 tag。
nameOverride: "hami"
fullnameOverride: "hami"
global:
imageSource: cn
imageTag: "v2.11.0-r0"
scheduler:
enabled: true
leaderElect: false
extender:
image:
registry: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public
patch:
imageNew:
registry: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public
service:
type: ClusterIP
devicePlugin:
enabled: true
image:
registry: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public
monitor:
image:
registry: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public
service:
type: ClusterIP
使用非 NVIDIA 设备时,必须在 HAMi values 的 devices 下启用对应厂商。昇腾节点至少配置:
devices:
ascend:
enabled: true
hamiVnpuCore: true
完整配置项见 HAMi Helm Chart Values Reference。
安装资源池管理(RPM,按需)
RPM 要求 Kubernetes ≥ 1.30,且 HAMi 使用 extender 调度模式。先完成 HAMi 安装,确认 hami-system/hami-scheduler-device ConfigMap 已存在。RPM 至少需要启用一类设备;可配置的设备开关包括 NVIDIA、Ascend 和 Hygon,实际设备支持以所用 manager 镜像版本为准。本版本不支持 PPU 资源池管理。
kubectl -n hami-system get configmap hami-scheduler-device
安装资源池 CRD
helm install hami-enterprise-crds \
oci://dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/dynamia-ai/charts/hami-enterprise-crds \
--version 0.4.2 \
--namespace hami-system \
--wait
kubectl wait --for=condition=Established --timeout=60s \
crd/gpudevices.resource.hami.io \
crd/resourcepools.resource.hami.io \
crd/resourcepoolbindings.resource.hami.io
配置并安装 Resource Pool Manager
将以下配置保存为 rpm-values.yaml。示例仅启用 NVIDIA;其他设备需先确认所用 manager 版本的支持范围,再修改 devices 开关,并确保 HAMi 的设备配置包含对应资源。
image:
repository: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/dynamia-ai/resource-pool-manager
tag: "v0.0.3"
hami:
schedulerName: hami-scheduler
existingConfigMap: hami-scheduler-device
devices:
nvidia:
enabled: true
ascend:
enabled: false
hygon:
enabled: false
webhook:
tls:
certgen:
image:
repository: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/ingress-nginx/kube-webhook-certgen
tag: v1.6.9
Manager Chart 安装时通过 Helm lookup 读取目标集群中的 scheduler 设备配置。执行命令的终端必须能访问目标集群;本地 helm template 无法代替这一步。
helm install hami-resource-pool-manager \
oci://dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/dynamia-ai/charts/hami-resource-pool-manager \
--version 0.0.7 \
--namespace hami-system \
-f rpm-values.yaml \
--wait
后续修改 scheduler 设备配置后,需要使用完整的 manager values 升级 Resource Pool Manager,使准入规则与设备配置保持一致。CRD Chart 默认保留 CRD 及其自定义资源;卸载 RPM 不会删除这些数据。
验证 RPM
helm list -n hami-system
kubectl -n hami-system rollout status deployment/hami-resource-pool-manager --timeout=180s
kubectl get crd gpudevices.resource.hami.io resourcepools.resource.hami.io resourcepoolbindings.resource.hami.io
kubectl get gpudevices,resourcepools
kubectl get resourcepoolbindings -A
确认两个 Helm release 安装成功、manager Deployment 就绪,并检查设备清单。资源池和授权规则配置完成后,还需验证 ResourcePool、ResourcePoolBinding 和工作负载准入行为;Pod 就绪本身不能证明资源池授权已经生效。
安装 NVIDIA GPU Operator(仅 NVIDIA 节点)
NVIDIA GPU Operator 是可选组件。节点准备和较复杂的 values 配置请参阅 HAMi NVIDIA GPU 节点准备文档。安装或复用 GPU Operator 时,关闭其内置 device-plugin(devicePlugin.enabled=false)和 CDI(cdi.enabled=false)。当前 HAMi Enterprise 使用 scheduler.useDownward,与 CDI 不兼容。调整已有集群的 CDI 配置前,先评估运行中的 GPU 工作负载。
helm repo add nvidia https://helm.ngc.nvidia.com/nvidia && helm repo update
helm install --wait --generate-name \
-n gpu-operator --create-namespace \
nvidia/gpu-operator \
--version v25.10.1 \
-f gpu-operator-values.yaml
示例 values 文件
下方 values 使用杭州 ACR 的非驱动镜像,并设置 driver.enabled=false,适用于节点已安装兼容 NVIDIA 驱动的情况。杭州 ACR 不提供 nvidia/driver 镜像。若需要 GPU Operator 安装驱动,请参考上方节点准备文档,配置可访问的驱动镜像来源。
driver:
enabled: false
toolkit:
repository: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/nvidia/k8s
image: container-toolkit
version: v1.18.1
imagePullSecrets: []
devicePlugin:
enabled: false
repository: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/nvidia
image: k8s-device-plugin
version: v0.18.1
imagePullSecrets: []
dcgmExporter:
repository: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/nvidia/k8s
image: dcgm-exporter
version: 4.4.2-4.7.0-distroless
serviceMonitor:
enabled: false
gfd:
repository: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/nvidia
image: k8s-device-plugin
version: v0.18.1
imagePullSecrets: []
migManager:
repository: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/nvidia/cloud-native
image: k8s-mig-manager
version: v0.13.1
imagePullSecrets: []
vgpuDeviceManager:
repository: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/nvidia/cloud-native
image: vgpu-device-manager
version: v0.4.1
imagePullSecrets: []
vfioManager:
repository: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/nvidia
image: cuda
version: 13.0.1-base-ubi9
imagePullSecrets: []
driverManager:
image: k8s-driver-manager
repository: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/nvidia/cloud-native
version: v0.9.1
sandboxDevicePlugin:
repository: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/nvidia
image: kubevirt-gpu-device-plugin
version: v1.4.0
imagePullSecrets: []
validator:
repository: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/nvidia
image: gpu-operator
imagePullSecrets: []
node-feature-discovery:
image:
repository: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/nfd/node-feature-discovery
tag: v0.18.2
pullPolicy: IfNotPresent
imagePullSecrets: []
operator:
repository: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/nvidia
image: gpu-operator
imagePullSecrets: []
initContainer:
image: cuda
repository: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/nvidia
version: 13.0.1-base-ubi9
cdi:
enabled: false
启用 GPU 节点
HAMi 的 NVIDIA device-plugin 仅在带有 gpu=on 标签的节点上启动。以下命令仅用于需要由 HAMi 管理的 NVIDIA 节点;Ascend 和 PPU 组件按各自的 nodeSelector 选择节点。
kubectl label nodes <node-name> gpu=on
安装昇腾设备插件(仅昇腾节点)
本步骤必须在 HAMi 安装完成后执行。以下配置复用 hami-scheduler-device,避免设备配置由多个 Chart 同时管理。
nameOverride: "ascend-device-plugin"
fullnameOverride: "ascend-device-plugin"
image:
repository: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/dynamia-ai/ascend-device-plugin
tag: "v1.5.0"
pullPolicy: IfNotPresent
config:
create: false
existingDeviceConfigMapName: hami-scheduler-device
helm install ascend-device-plugin \
oci://dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/dynamia-ai/charts/ascend-device-plugin \
--version 0.4.0 \
--namespace hami-system \
-f ascend-device-plugin.yaml
安装 PPU 设备插件与监控(仅 amd64 PPU 节点)
本节使用 PPU Device Plugin Chart 0.0.5 和插件 v1.0.6,仅支持 amd64。先安装适配节点的 PPU 驱动和运行时,确认节点可访问 PPU 设备。已有同类设备插件时避免重复安装。
准备节点和 HAMi 配置
kubectl label nodes <PPU_NODE> alibabappu=on --overwrite
将以下配置合并到 hami-enterprise-values.yaml,保留文件中的其他配置。首次安装时使用前文 HAMi 安装命令;已有 HAMi 时,使用完整 values 执行下方升级命令。
devices:
alibaba:
enabled: true
helm upgrade hami \
oci://dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/charts/hami-enterprise \
--version 2.11.0-r0 \
--namespace hami-system \
-f hami-enterprise-values.yaml \
--wait
配置并安装 PPU Chart
将以下内容保存为 ppu-device-plugin.yaml。PPU Chart 同时部署设备插件和 monitor;示例将监控 Service 设置为 ClusterIP,供集群内的监控系统采集。
nameOverride: "ppu-device-plugin"
fullnameOverride: "ppu-device-plugin"
image:
repository: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/dynamia-ai/ppu-device-plugin
tag: "v1.0.6"
pullPolicy: IfNotPresent
nodeSelector:
alibabappu: "on"
plugin:
enabled: true
monitor:
enabled: true
service:
enabled: true
type: ClusterIP
PPU Chart 默认创建独立 ConfigMap。部署前核对原生 values config.data.alibaba 中的资源名称和切分配置与 HAMi scheduler 配置一致;不要直接复制 Ascend 的 ConfigMap 配置。默认资源名包含 alibaba.com/ppu、alibaba.com/ppu-memory 和 alibaba.com/gpu-core。
helm install ppu-device-plugin \
oci://dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/dynamia-ai/charts/ppu-vgpu-device-plugin \
--version 0.0.5 \
--namespace hami-system \
-f ppu-device-plugin.yaml \
--wait
接入 PPU 监控
PPU monitor 提供 hami-system/ppu-device-plugin-monitor Service,标签为 app=ppu-vgpu-monitor 和 component=vgpu-monitor,metrics Service 端口为 31992,对应容器端口 9394。PPU Chart 不提供 ServiceMonitor 开关。仅部署 HAMi Enterprise 并接入现有 Prometheus 时,先确认 ServiceMonitor CRD 已存在,再创建下方对象。使用 HAMi AI Platform 时,按后文平台配置启用 PPU 监控开关,由平台同时创建 ServiceMonitor 和 recording rules;不要再创建下方手工 ServiceMonitor,避免重复抓取。
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
name: ppu-vgpu-monitor
namespace: hami-system
labels:
release: prometheus
spec:
jobLabel: app
namespaceSelector:
matchNames:
- hami-system
selector:
matchLabels:
app: ppu-vgpu-monitor
component: vgpu-monitor
endpoints:
- port: metrics
path: /metrics
interval: 15s
将 release: prometheus 调整为实际 Prometheus 的 serviceMonitorSelector 所需标签,并确认其能发现 hami-system 中的 ServiceMonitor。保存为 ppu-servicemonitor.yaml 后执行 kubectl apply -f ppu-servicemonitor.yaml。VictoriaMetrics 用户配置对应 VMServiceScrape,或确认 Operator 已转换 ServiceMonitor,避免重复采集同一 Service。
验证 PPU 组件
kubectl get nodes -l alibabappu=on
kubectl -n hami-system get daemonsets ppu-device-plugin ppu-device-plugin-monitor
kubectl -n hami-system rollout status daemonset/ppu-device-plugin --timeout=180s
kubectl -n hami-system rollout status daemonset/ppu-device-plugin-monitor --timeout=180s
kubectl -n hami-system get endpointslice -l kubernetes.io/service-name=ppu-device-plugin-monitor
kubectl describe node <PPU_NODE>
两个 DaemonSet 的 DESIRED 和 READY 应等于预期 PPU 节点数,且大于零。确认节点已注册 PPU 资源,再运行申请 PPU 资源的工作负载,验证分配和设备访问。
在 Prometheus 中查询 up{job="ppu-vgpu-monitor",namespace="hami-system"},确认采集目标为 1;查询 hami_host_gpu_utilization_ratio{job="ppu-vgpu-monitor"} 和 hami_host_gpu_memory_used_bytes{job="ppu-vgpu-monitor"},确认真实设备指标存在。设备空闲时利用率可以为零。
安装 HAMi AI Platform(可选)
仅在需要平台控制台时执行。本节不适用于只部署 HAMi Enterprise 的集群。
安装 Envoy Gateway
helm install eg \
oci://dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/envoyproxy/gateway-helm \
--version v1.6.2 \
--namespace envoy-gateway-system \
--create-namespace \
--set global.images.envoyGateway.image=dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/envoyproxy/gateway:v1.6.2 \
--set global.images.ratelimit.image=dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/envoyproxy/ratelimit:99d85510 \
--set config.envoyGateway.gateway.controllerName=gateway.envoyproxy.io/gatewayclass-controller \
--set config.envoyGateway.provider.type=Kubernetes
安装 HAMi Metering
安装平台前,先部署 PostgreSQL 和 HAMi Metering。本节使用 PostgreSQL Chart 18.8.0(数据库 18.4.0)和 HAMi Metering Chart 0.3.0(API、collector、迁移镜像 v0.2.0),镜像固定 digest。以下配置是直接传给 Helm Chart 的原生 values。
先准备指标查询端
计量采集需要可访问的 Prometheus 查询端和实际采集数据。先完成后文监控栈安装,或确认已有兼容的 Prometheus 查询端可用,并已接入 HAMi 和所需硬件指标;再安装本节组件。复用现有系统时,将下方 clusters[].prometheus.queryURL 改为实际地址,核对 clusterId 与指标标签一致。
本例启用 Metering API 的 ServiceMonitor。先确认 Prometheus Operator CRD 已存在,并使 api.serviceMonitor.releaseLabel 匹配 Prometheus 的选择器。已有查询端但不使用 Prometheus Operator 时,设置 api.serviceMonitor.enabled: false,另行接入 API 指标;这不替代对 HAMi 和硬件指标的采集。
准备数据库凭据
首次安装前,将以下实际内容分别写入受限目录 /secure/metering 下的同名文件,文件末尾不要添加换行。数据库用户名和库名均为 postgres;自行设置密码,不把密码写入 values。
-
dsn:postgresql://postgres:<URL-encoded-password>@postgresql.hami-metering.svc.cluster.local:5432/postgres?sslmode=disable -
flyway-url:jdbc:postgresql://postgresql.hami-metering.svc.cluster.local:5432/postgres?sslmode=disable -
flyway-user:postgres -
flyway-password:同一个未经 URL 编码的数据库密码。dsn中的密码必须经过 URL 编码。
kubectl create namespace hami-metering --dry-run=client -o yaml | kubectl apply -f -
kubectl -n hami-metering create secret generic hami-metering-database \
--from-file=dsn=/secure/metering/dsn \
--from-file=flyway-url=/secure/metering/flyway-url \
--from-file=flyway-user=/secure/metering/flyway-user \
--from-file=flyway-password=/secure/metering/flyway-password
四个文件形成 hami-metering/hami-metering-database Secret 的四个同名键。已有 Secret 时,先核对内容和凭据轮换方案,不重复执行创建命令。PostgreSQL 和 Flyway 共用 flyway-password。
配置数据库存储
将以下原生配置保存为 postgresql-values.yaml。优先使用集群已有的动态供给 StorageClass,将 YOUR_STORAGE_CLASS 替换为实际名称;使用已验证的默认类时可省略 storageClass。使用预建 PVC 时,设置 primary.persistence.existingClaim,PVC 必须位于 hami-metering,并具备可用存储。
fullnameOverride: postgresql
architecture: standalone
global:
security:
allowInsecureImages: true
image:
registry: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com
repository: public/bitnami/postgresql
digest: sha256:db2312d9b243afa8c3b3f5496e478d17d0dff9791d06f3b93b9567abd86ae92f
pullPolicy: IfNotPresent
auth:
enablePostgresUser: true
database: postgres
existingSecret: hami-metering-database
secretKeys:
adminPasswordKey: flyway-password
primary:
persistence:
enabled: true
storageClass: YOUR_STORAGE_CLASS
size: 5Gi
volumePermissions:
enabled: false
metrics:
enabled: false
backup:
enabled: false
passwordUpdateJob:
enabled: false
没有动态存储时,可单独准备以下 postgresql-storage.yaml。local-storage 不是 Kubernetes 内置存储类,也不会自动创建目录或 PV。先替换 REPLACE_WITH_NODE_NAME,在目标节点创建 /data/postgresql 并确保 UID 1001 可写;核对同名资源没有冲突后再应用。local PV 依赖所在节点,不提供跨节点数据冗余。
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: local-storage
provisioner: kubernetes.io/no-provisioner
volumeBindingMode: WaitForFirstConsumer
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: postgresql-local-pv
labels:
app.kubernetes.io/name: postgresql
app.kubernetes.io/component: local-data
spec:
capacity:
storage: 5Gi
volumeMode: Filesystem
accessModes:
- ReadWriteOnce
persistentVolumeReclaimPolicy: Retain
storageClassName: local-storage
local:
path: /data/postgresql
nodeAffinity:
required:
nodeSelectorTerms:
- matchExpressions:
- key: kubernetes.io/hostname
operator: In
values:
- REPLACE_WITH_NODE_NAME
kubectl apply -f postgresql-storage.yaml
使用该本地存储时,将以下内容合并到完整的 postgresql-values.yaml,保留镜像和 Secret 配置。selector.matchLabels 必须匹配前述 PV 标签。WaitForFirstConsumer 会延迟绑定,不要在 PostgreSQL Pod 创建前等待 PVC Bound。没有可用后端或匹配 PV 时,应先解决存储问题,不继续安装计量服务。
primary:
persistence:
enabled: true
storageClass: local-storage
size: 5Gi
selector:
matchLabels:
app.kubernetes.io/name: postgresql
app.kubernetes.io/component: local-data
先安装 PostgreSQL,再安装 Metering
先执行数据库安装,等待成功后再安装计量服务。现有数据库升级、凭据轮换及存量迁移须单独核对,不以本新装示例替代升级方案。
helm install postgresql \
oci://dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/charts/postgresql \
--version 18.8.0 \
--namespace hami-metering \
--create-namespace \
--values postgresql-values.yaml \
--wait --timeout 5m
将以下配置保存为 metering-values.yaml,按前述监控查询端和采集集群调整 clusters 完整数组。
fullnameOverride: hami-metering
database:
existingSecret: hami-metering-database
api:
image:
registry: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public
repository: dynamia-ai/metering-api
tag: v0.2.0@sha256:eb58a81d4da7f5fe233957eeb8adfff48709774fdd3ee52327fd086870b7cdc8
pullPolicy: IfNotPresent
serviceMonitor:
enabled: true
releaseLabel: prometheus
collector:
image:
registry: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public
repository: dynamia-ai/metering-collector
tag: v0.2.0@sha256:bc44976bb86d0b6f35f41bbe0fc6c97f0549a84fadaedf82ec3b570b7cea6cb3
pullPolicy: IfNotPresent
instanceID: control-plane
migrate:
enabled: true
image:
registry: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public
repository: dynamia-ai/metering-migrate
tag: v0.2.0@sha256:db67505bfb4e09da94bcc84fc5dc44b6b83cc5ebfc462cf79d8bc8bd6c1f3a47
pullPolicy: IfNotPresent
clusters:
- clusterId: control-plane
displayName: Control Plane
timezone: Asia/Shanghai
enabled: true
prometheus:
type: prometheus
queryURL: http://prometheus-kube-prometheus-prometheus.monitoring.svc.cluster.local:9090
helm install hami-metering \
oci://dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/charts/hami-metering \
--version 0.3.0 \
--namespace hami-metering \
--create-namespace \
--values metering-values.yaml \
--wait --timeout 5m
连接平台并验证
在执行下一节 Kantaloupe 安装前,将以下原生配置合并到完整的 kantaloupe-values.yaml,保留已有 auth、gateway、镜像及其他 apiserver 配置。不要用这个片段覆盖整份文件。
apiserver:
meteringGRPCAddress: hami-metering-api.hami-metering.svc.cluster.local:9090
kubectl -n hami-metering get pvc,pods,service
kubectl -n hami-metering rollout status statefulset/postgresql --timeout=180s
kubectl -n hami-metering rollout status deployment/hami-metering-api --timeout=180s
kubectl -n hami-metering rollout status deployment/hami-metering-collector --timeout=180s
kubectl -n hami-metering logs deployment/hami-metering-collector -c metering-migrate --tail=100
确认 PVC、数据库及 API/collector 就绪,metering-migrate 无 Flyway 迁移错误。完成平台安装后,检查平台计量接口,并用实际 GPU 工作负载确认采集窗口内产生数据;仅 Pod Ready 不能证明采集完整或计量正确。改名时同步核对 Secret、DSN、JDBC URL 和平台 gRPC 地址。
安装 HAMi AI Platform
helm install kantaloupe \
oci://dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/charts/kantaloupe-chart \
--version 0.22.0 \
--namespace kantaloupe-system \
--create-namespace \
-f kantaloupe-values.yaml
示例 values 文件
下方 values 让平台组件、CloudTTY 和 Envoy Proxy 使用杭州 ACR 的公开镜像。安装前,填写实际域名、证书名称和 JWT 配置,并将 <ADMIN_PASSWORD> 替换为自定义的管理员初始密码。示例启用平台监控,安装前应已具备 ServiceMonitor 和 PrometheusRule CRD;尚未准备监控系统时,先完成后文监控栈安装。使用 PPU 时,按下方「启用 PPU 监控」配置厂商开关。
fullnameOverride: kantaloupe
global:
imageRegistry: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public
apiserver:
meteringGRPCAddress: hami-metering-api.hami-metering.svc.cluster.local:9090
leaderElection:
enabled: false
logLevel: 5
auth:
enabled: true
jwtSecret: <JWT_SIGNING_SECRET>
bootstrapAdminUsername: "bootstrap-platform-admin"
bootstrapAdminPassword: "<ADMIN_PASSWORD>"
cloudtty:
enabled: true
gateway:
enabled: true
hostnames:
- dashboard.hami.run
apiserverHostnames:
- api.hami.run
apiserverCors:
enabled: true
allowCredentials: true
allowOrigins:
- https://dashboard.dynamia.ai
- https://dashboard.hami.run
envoy:
proxy:
image:
repository: envoyproxy/envoy
tag: distroless-v1.36.3
service:
ports:
http:
nodePort: 30080
https:
nodePort: 30443
type: NodePort
listeners:
- name: http
port: 80
protocol: HTTP
- name: https
port: 443
protocol: HTTPS
tls:
certificateRef:
name: dashboard-hami-run-tls
redirectFromHttp: true
monitoring:
enabled: true
vendorServiceMonitor:
enabled: true
enableAlibabaPPUServicemonitor: false
mpu:
enabled: false
平台的服务暴露、平台管理员、认证与监控配置见 kantaloupe Helm Chart Values Reference。
可选:启用 PPU 监控
使用 PPU 设备时,先按前文安装 PPU 设备插件及 monitor,再将以下原生 values 合并到完整的 kantaloupe-values.yaml,保留其他配置。首次安装使用本节安装命令;已有平台使用相同 Chart 版本和完整 values 执行 helm upgrade kantaloupe。
monitoring:
enabled: true
vendorServiceMonitor:
enabled: true
enableAlibabaPPUServicemonitor: true
helm upgrade kantaloupe \
oci://dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/charts/kantaloupe-chart \
--version 0.22.0 \
--namespace kantaloupe-system \
-f kantaloupe-values.yaml \
--wait
这三个开关共同启用 PPU ServiceMonitor 和 recording rules。平台需要这些规则生成统一设备指标;不要另行创建前文企业版使用的手工 PPU ServiceMonitor。若此前已配置手工抓取,应先统一采集配置,避免重复抓取。
平台默认发现 hami-system 中标签为 app=ppu-vgpu-monitor、component=vgpu-monitor 的 Service,并通过 metrics 端口抓取。默认 Service 为 ppu-device-plugin-monitor,端口为 31992,对应容器端口 9394。确认 Prometheus 的 ServiceMonitor 选择器能够选中平台创建的 alibaba-ppu-monitor。
在 Prometheus 中查询以下指标,确认目标抓取成功且存在原始利用率、显存数据:
up{job="ppu-vgpu-monitor",namespace="hami-system"}
hami_host_gpu_utilization_ratio{zone="vGPU"}
hami_host_gpu_memory_used_bytes{zone="vGPU"}
up 应为 1;利用率为零可以表示设备空闲。控制面还需核对目标集群的原始指标,以及对应的 kantaloupe_gpu_core_used{vendor="alibaba-ppu"} 和 kantaloupe_gpu_mem_used{vendor="alibaba-ppu"}。成员集群场景使用 cluster="<成员集群名称>" 过滤指标。仅有 Pod Ready 或平台指标非空不能证明真实采集已完成。
平台当前的 PPU 温度和功耗规则使用占位值,不代表真实温度、功耗。没有原始指标时,检查节点驱动、插件和 monitor 日志;抓取失败时,检查 Service 标签、端口、EndpointSlice、ServiceMonitor 选择器、重复抓取及网络策略。
安装监控栈(按需)
仅部署 HAMi Enterprise 时,按需接入监控。部署 HAMi AI Platform 与 Metering 时,必须先准备兼容的 Prometheus 查询端及 HAMi、硬件指标采集;已有可用系统可复用,无现有系统时先安装本节监控栈,再安装 Metering 和平台。复用 Prometheus 或 VictoriaMetrics 时,按“节点与监控”章节接入,并将 Metering 的查询地址配置为实际可用的 Prometheus 兼容查询端。
helm install prometheus \
oci://dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/charts/kube-prometheus-stack \
--version 72.3.0 \
--namespace monitoring \
--create-namespace \
--set alertmanager.enabled=false \
--set grafana.enabled=false \
-f kube-prometheus-stack-values.yaml
示例 values 文件
下方 values 让 kube-prometheus-stack 使用杭州 ACR 已同步的公开镜像,无需为这些镜像配置 imagePullSecrets。
global:
imageRegistry: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public
alertmanager:
enabled: false
grafana:
enabled: false
安装后检查
核心组件
kubectl -n hami-system get pods
kubectl -n gpu-operator get pods
kubectl -n monitoring get pods
kubectl -n kantaloupe-system get pods
未部署的可选组件对应 Namespace 可能不存在,可忽略其查询结果。已部署组件的 Pod 应处于 Running 或 Completed 状态。
节点与监控
kubectl describe node <node-name>
kubectl api-resources --api-group=monitoring.coreos.com
如果使用 Prometheus,ServiceMonitor 的标签必须匹配 Prometheus.spec.serviceMonitorSelector;如果使用 VictoriaMetrics,VMAgent.spec.serviceScrapeSelector 必须匹配 VMServiceScrape.metadata.labels,并检查 VMAgent.spec.serviceScrapeNamespaceSelector 是否覆盖该 VMServiceScrape 所在的 Namespace。使用 ServiceMonitor 转换时,确认对应的 VMServiceScrape 已生成。
先在监控系统中确认对应采集目标的 up 为 1,再查询以下 NVIDIA 相关指标,确认采集结果非空:
-
DCGM_FI_DEV_GPU_UTIL -
hami_host_gpu_utilization_ratio -
hami_gpu_core_allocated_ratio
HAMi AI Platform(可选)
kubectl -n kantaloupe-system get pods
kubectl -n kantaloupe-system get svc
按部署时配置的服务入口访问平台,确认控制台可以正常打开。
许可证申请与激活
获取许可证信息
申请许可证前,任选以下一种方法获取授权申请信息。两种方法作用相同,无需重复执行。
方法一:运行收集脚本
HAMi 核心组件就绪后即可执行;无需等待按需安装的 GPU Operator、昇腾或监控组件。运行环境需要 kubectl 和 jq。缺少 jq 时,collect-hami-license-info.sh 无法收集签发许可证所需的信息。
curl -fsSLO https://public.hami.run/collect-hami-license-info.sh
bash collect-hami-license-info.sh
将脚本输出的 JSON 发送给密瓜智能售前或技术支持以申请许可证。
方法二:通过 HAMi AI Platform 获取(可选)
仅在已安装 HAMi AI Platform 时使用。
-
使用平台管理员账号登录 HAMi AI Platform。
-
进入「License 与系统信息」。
-
按页面提示获取授权申请信息。
-
将授权申请信息发送给密瓜智能销售或技术支持人员。
导入并验证许可证
通过任一方法申请并收到 License 文件后,将其保存到可以访问目标集群的运维机器,并创建 License Secret:
kubectl create secret generic hami-license \
--from-file=license=/path/to/license-file \
-n hami-system
kubectl label secret hami-license \
hami.io/license="true" \
-n hami-system
kubectl get secret hami-license -n hami-system
kubectl get events --field-selector involvedObject.name=hami-license -n hami-system
事件中出现 LicenseValid 表示许可证校验通过。NVIDIA 节点还可以检查许可证注册信息:
kubectl get nodes -o custom-columns='NODE:.metadata.name,LICENSE:.metadata.annotations.hami\.io/nvidia-license'
在线示例工作负载验证
下方验证 Pod 使用杭州 ACR 中公开的 CUDA 测试镜像。仅在 NVIDIA 节点上运行;若集群使用内部仓库,请将该镜像同步到内部仓库,并替换下方 image 地址。
kubectl delete pod hami-smoke --ignore-not-found
kubectl apply -f - <<'EOF'
apiVersion: v1
kind: Pod
metadata:
name: hami-smoke
spec:
restartPolicy: Never
containers:
- name: cuda
image: dynamia-ai-registry.cn-hangzhou.cr.aliyuncs.com/public/nvidia/cuda:12.4.0-base-ubuntu22.04
command: ["sh", "-c", "nvidia-smi && sleep 30"]
resources:
limits:
nvidia.com/gpu: 1
nvidia.com/gpumem: 2000
EOF
kubectl wait --for=condition=Ready pod/hami-smoke --timeout=180s
kubectl logs hami-smoke
Pod 进入 Ready 状态且日志正常输出 GPU 信息,表示 HAMi 已完成 GPU 调度,容器内的 NVIDIA 运行时可以正常访问 GPU。验证完成后删除测试 Pod。
kubectl delete pod hami-smoke
常见问题
| 现象 | 检查与处理 |
|---|---|
hami-device-plugin 未运行 | 确认节点已添加 gpu=on 标签,并检查 kubectl -n hami-system get pods。 |
hami-device-plugin 反复重启 | 检查 NVIDIA GPU Operator 是否仍启用了默认 device-plugin;应设置 devicePlugin.enabled=false。 |
| 镜像拉取失败 | 检查目标集群到镜像仓库的网络连通性、镜像地址和标签,以及所需的 imagePullSecrets。 |
| 查不到 HAMi 指标 | 检查 Prometheus 或 VictoriaMetrics 的监控对象选择器是否匹配 ServiceMonitor 标签。 |
| 工作负载持续 Pending | 检查许可证是否已激活、节点是否已添加 gpu=on 标签、可用加速器资源,以及 kubectl describe pod 输出的事件。 |
获取支持
-
售前 / 技术支持:400-026-7800
-
已签订商业合同的客户可通过专属支持渠道提交问题。