Kubernetes AI 算力集群下大模型预加载与共享存储 (PV/PVC) 架构实践

☸️ 一、云原生大规模 AI 集群的冷启动挑战

在现代云原生环境（Kubernetes / K8s）中，当业务流量爆发触发 HPA（水平 Pod 自动扩缩容）时，新调度的 GPU Worker Pod 必须在最短时间内就绪。

如果一个拥有 100 张 GPU 的集群在自动扩容 20 个 Pod 时，每个 Pod 各自向公网拉取 70GB 权重，不仅会瞬间把机房出口带宽完全打满，还会遭遇官方源的严格并发限流（HTTP 429 Too Many Requests），导致 Pod 处于长期的 CrashLoopBackOff。

🏗️ 二、云原生模型分发三层架构设计

1. 分布式共享存储 (RWX)

基于 CephFS、JuiceFS 或企业级高性能 NFS 搭建跨节点 ReadWriteMany 存储池，模型仅需全局拉取一次即可全集群可见。

2. 节点本地 NVMe 高速缓存

分布式存储网络 IOPS 存在上限。利用 DaemonSet 将高频热点模型分发到每个 GPU 节点的本地 NVMe SSD (Local PV)，实现微秒级权重 mmap 加载。

3. InitContainer 校验守卫

在主推理容器启动前，由轻量 Init 容器检查本地权重完整性哈希。未就绪则走 HF-Mirror 国内镜像通道快速补全。

📝 三、生产级 K8s 部署清单 (Manifest)

以下是一份经过工业验证的生产环境 Kubernetes 部署清单，包含 PVC 声明与带有镜像加速拉取逻辑的 InitContainer：

k8s-deployment.yaml: InitContainer + RWX PVC

apiVersion: apps/v1
kind: Deployment
metadata:
  name: llm-inference-deepseek
  namespace: ai-serving
spec:
  replicas: 4
  selector:
    matchLabels:
      app: deepseek-service
  template:
    metadata:
      labels:
        app: deepseek-service
    spec:
      # 1. 预加载初始化容器：通过镜像站确保模型完整
      initContainers:
      - name: model-preloader
        image: python:3.11-slim
        command: ["/bin/sh", "-c"]
        args:
          - |
            pip install huggingface_hub
            export HF_ENDPOINT="https://hf-mirror.net"
            python -c "
            from huggingface_hub import snapshot_download
            snapshot_download(
                repo_id='deepseek-ai/DeepSeek-R1-Distill-Qwen-32B',
                local_dir='/models/DeepSeek-R1-Distill-Qwen-32B',
                local_dir_use_symlinks=False
            )
            "
        volumeMounts:
        - name: shared-model-storage
          mountPath: /models

      # 2. 核心推理服务容器：只读加载，极速就绪
      containers:
      - name: vllm-engine
        image: vllm/vllm-openai:latest
        resources:
          limits:
            nvidia.com/gpu: 2
            memory: 64Gi
            cpu: "16"
        env:
        - name: HF_HUB_OFFLINE
          value: "1"
        command: ["python3", "-m", "vllm.entrypoints.openai.api_server"]
        args:
          - "--model=/models/DeepSeek-R1-Distill-Qwen-32B"
          - "--tensor-parallel-size=2"
          - "--port=8000"
        volumeMounts:
        - name: shared-model-storage
          mountPath: /models
          readOnly: true

      volumes:
      - name: shared-model-storage
        persistentVolumeClaim:
          claimName: nfs-model-pvc