Enterprise
平头哥(T-Head)PPU
PPU Device Plugin 将平头哥 T-Head PPU(真武 810E 等)注册为 Kubernetes 资源,支持按显存和算力共享。设备由 HAMi 调度器选择,未经其调度的 Pod 无法完成分配。本文使用 Chart 0.0.4 和应用 v1.0.5,说明授权配置、插件安装和工作负载验证。
前置条件
- Kubernetes 1.20 或更高版本,以及 Helm 3。
- PPU 节点已安装驱动,并存在
/dev/alixpu、/dev/alixpu_ctl和/dev/alixpu_ppu{N}设备文件。 - 已部署 HAMi 企业版调度器,且资源名与本插件一致。部署方式见安装文档。
- 已获取覆盖目标 PPU 设备的企业版许可证。
安装
kubectl label node <node-name> alibabappu=on
helm upgrade --install ppu-vgpu-device-plugin \
oci://ghcr.io/dynamia-ai/charts/ppu-vgpu-device-plugin \
--version 0.0.4 \
-n hami-system --create-namespace
Chart 0.0.4 默认使用镜像 ghcr.io/dynamia-ai/ppu-device-plugin:v1.0.5。集群从其他仓库拉取时,设置 image.repository 和 image.tag。
检查插件和节点资源:
kubectl -n hami-system get ds -l app.kubernetes.io/instance=ppu-vgpu-device-plugin
kubectl get node <node-name> -o jsonpath='{.status.allocatable.alibaba\.com/ppu}{"\n"}'
allocatable 应为物理卡数 × deviceSplitCount。
卸载:
helm uninstall ppu-vgpu-device-plugin -n hami-system
工作负载资源
| 资源 | 说明 |
|---|---|
alibaba.com/ppu | 卡数 |
alibaba.com/ppu-memory | 每卡显存(MiB) |
alibaba.com/ppu-memory-percentage | 每卡显存比例(1–100) |
alibaba.com/gpu-core | 每卡算力比例(1–100) |
只申请卡数时整卡独占。ppu-memory 优先于 ppu-memory-percentage。
配置
以下参数位于插件 Chart 的 config.data.alibaba 中:
| 参数 | 默认 | 说明 |
|---|---|---|
deviceSplitCount | 10 | 每卡最多共享的容器数 |
deviceMemoryScaling | 1.0 | 显存超分倍数 |
deviceCoreScaling | 1.0 | 算力超分倍数 |
resourceCountName 等 | alibaba.com/* | 资源名,需与调度器一致 |
nodeSelector 默认为 alibabappu: "on",用于选择运行插件的节点。monitor.service.nodePort 默认为 31992。
Pod 注解:
| 注解 | 说明 |
|---|---|
alibaba.com/use-pputype / nouse-pputype | 指定 / 排除型号 |
alibaba.com/use-ppuuuid / nouse-ppuuuid | 指定 / 排除 UUID |
hami.io/gpu-scheduler-policy | binpack、spread、topology-aware |
冒烟测试
在同一张 PPU 上运行两个 vLLM 实例,每个申请 50% 显存和 50% 算力,验证共卡、限制注入和推理可用。
警告
本文不提供测试镜像。需自行准备包含 PPU SDK、PyTorch 和 vLLM 的镜像,并确保集群可拉取。
export PPU_IMAGE=<ppu-vllm-image>
cat <<EOF | kubectl apply -f -
apiVersion: apps/v1
kind: Deployment
metadata:
name: ppu-smoke
spec:
replicas: 2
selector:
matchLabels:
app: ppu-smoke
template:
metadata:
labels:
app: ppu-smoke
annotations:
hami.io/node-scheduler-policy: binpack
hami.io/gpu-scheduler-policy: binpack
spec:
containers:
- name: vllm
image: ${PPU_IMAGE}
command:
- sh
- -c
- |
pip install modelscope &&
modelscope download --model Qwen/Qwen2.5-1.5B-Instruct --local_dir /models/qwen &&
exec python3 -m vllm.entrypoints.openai.api_server \
--model /models/qwen --served-model-name qwen \
--trust-remote-code --gpu-memory-utilization 0.8
readinessProbe:
httpGet:
path: /health
port: 8000
periodSeconds: 10
failureThreshold: 90
resources:
limits:
cpu: "8"
memory: 16Gi
alibaba.com/ppu: 1
alibaba.com/ppu-memory-percentage: 50
alibaba.com/gpu-core: 50
volumeMounts:
- name: models
mountPath: /models
volumes:
- name: models
emptyDir: {}
EOF
kubectl rollout status deployment/ppu-smoke --timeout=30m
检查:
for p in $(kubectl get pod -l app=ppu-smoke -o name); do
echo "== $p"
kubectl get $p -o jsonpath='{.metadata.annotations.hami\.io/vppu-devices-allocated}{"\n"}'
kubectl exec $p -- sh -c 'env | grep CUDA_DEVICE_'
kubectl exec $p -- python3 -c 'import torch; print("total", torch.cuda.mem_get_info()[1] >> 20, "MiB")'
kubectl exec $p -- curl -s localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model": "qwen", "messages": [{"role": "user", "content": "Hello"}]}'
echo
done
通过条件:
| 检查项 | 预期 |
|---|---|
| 分配注解 | 两个 Pod 的设备 UUID 相同 |
CUDA_DEVICE_MEMORY_LIMIT_0 | 约为整卡显存的 50% |
CUDA_DEVICE_SM_LIMIT | 50 |
total | 与 CUDA_DEVICE_MEMORY_LIMIT_0 一致 |
| 推理响应 | choices[0].message.content 非空 |
清理:
kubectl delete deployment ppu-smoke
排障
kubectl -n hami-system logs -l app.kubernetes.io/component=device-plugin --tail=200
| 现象 | 检查 |
|---|---|
| 无插件 Pod | 节点标签 alibabappu=on |
无 alibaba.com/ppu 资源 | 驱动、/dev/alixpu*、插件日志 |
device request not found | Pod 的 schedulerName |
| 授权错误 | 节点 hami.io/alibaba-license 中的设备 UUID 和有效期、HGML 可见设备的授权覆盖范围、工作负载时区;续期后是否重启业务进程 |