Kubernetes存儲管理：PV、PVC與StorageClass

一、概述

1.1 背景介紹

容器本身是無狀態(tài)的，Pod重啟后容器內(nèi)的數(shù)據(jù)全部丟失。數(shù)據(jù)庫、消息隊列、文件存儲這類有狀態(tài)服務(wù)跑在K8s上，必須解決持久化存儲問題。Kubernetes通過PersistentVolume（PV）、PersistentVolumeClaim（PVC）和StorageClass三層抽象來管理存儲。

實際生產(chǎn)中踩過的坑：開發(fā)團(tuán)隊直接在Pod里用hostPath掛載宿主機(jī)目錄，Pod漂移到其他節(jié)點后數(shù)據(jù)就丟了。還有團(tuán)隊手動創(chuàng)建了100個PV，每次擴(kuò)容都要運維手動操作，效率極低。StorageClass的動態(tài)供給機(jī)制就是解決這個問題的。

本文覆蓋靜態(tài)供給、動態(tài)供給、本地存儲、NFS、Ceph RBD等常見存儲方案，基于Kubernetes 1.28.x版本。

1.2 技術(shù)特點

存儲與計算解耦：PV是集群級別的存儲資源，PVC是用戶對存儲的申請，兩者通過綁定關(guān)系關(guān)聯(lián)，Pod只需要引用PVC

動態(tài)供給：StorageClass配合Provisioner自動創(chuàng)建PV，無需運維手動干預(yù)

訪問模式控制：ReadWriteOnce（單節(jié)點讀寫）、ReadOnlyMany（多節(jié)點只讀）、ReadWriteMany（多節(jié)點讀寫），不同存儲后端支持的模式不同

回收策略：Retain（保留數(shù)據(jù)）、Delete（刪除數(shù)據(jù)）、Recycle（已廢棄），控制PVC刪除后PV的處理方式

1.3 適用場景

場景一：數(shù)據(jù)庫（MySQL、PostgreSQL）持久化存儲，要求高IOPS和數(shù)據(jù)安全

場景二：日志、文件上傳等共享存儲，多個Pod需要同時讀寫同一份數(shù)據(jù)

場景三：AI訓(xùn)練數(shù)據(jù)集存儲，大容量、高吞吐量讀取

場景四：StatefulSet有狀態(tài)應(yīng)用，每個Pod需要獨立的持久化卷

1.4 環(huán)境要求

二、詳細(xì)步驟

2.1 準(zhǔn)備工作

2.1.1 存儲基礎(chǔ)概念

PV、PVC、StorageClass的關(guān)系：

用戶視角：Pod → PVC（我需要10Gi存儲）
        ↓ 綁定
管理員視角：  PV（這塊10Gi的存儲可以用）
        ↑ 創(chuàng)建
自動化視角：  StorageClass + Provisioner（自動創(chuàng)建PV）

# 查看集群現(xiàn)有的StorageClass
kubectl get sc

# 查看PV和PVC
kubectl get pv
kubectl get pvc -A

# 查看CSI驅(qū)動
kubectl get csidrivers

2.1.2 存儲方案選型

2.1.3 搭建NFS服務(wù)器

NFS是最簡單的共享存儲方案，適合中小規(guī)模集群：

# NFS服務(wù)器（192.168.1.50）上執(zhí)行
apt-get install -y nfs-kernel-server

# 創(chuàng)建共享目錄
mkdir -p /data/nfs/k8s
chown nobody:nogroup /data/nfs/k8s
chmod 755 /data/nfs/k8s

# 配置NFS導(dǎo)出
cat > /etc/exports <

	

	K8s所有Worker節(jié)點安裝NFS客戶端：

	
# Ubuntu
apt-get install -y nfs-common

# CentOS
yum install -y nfs-utils

# 驗證能掛載
mount -t nfs 192.168.1.50:/data/nfs/k8s /mnt
ls /mnt
umount /mnt


	

	注意：no_root_squash允許客戶端以root身份寫入，生產(chǎn)環(huán)境如果安全要求高，改為root_squash并通過initContainer設(shè)置目錄權(quán)限。

	2.2 核心配置

	2.2.1 靜態(tài)PV/PVC（手動創(chuàng)建）

	適合存儲資源固定、數(shù)量少的場景：

	
# 文件：nfs-pv-static.yaml
apiVersion:v1
kind:PersistentVolume
metadata:
name:nfs-pv-data-01
labels:
 type:nfs
 env:production
spec:
capacity:
 storage:50Gi
accessModes:
 -ReadWriteMany
persistentVolumeReclaimPolicy:Retain
storageClassName:""
nfs:
 server:192.168.1.50
 path:/data/nfs/k8s/data-01
---
apiVersion:v1
kind:PersistentVolumeClaim
metadata:
name:app-data-pvc
namespace:production
spec:
accessModes:
 -ReadWriteMany
resources:
 requests:
  storage:50Gi
storageClassName:""
selector:
 matchLabels:
  type:nfs
  env:production

# 先在NFS服務(wù)器上創(chuàng)建目錄
mkdir -p /data/nfs/k8s/data-01

# 創(chuàng)建PV和PVC
kubectl apply -f nfs-pv-static.yaml

# 驗證綁定狀態(tài)
kubectl get pv nfs-pv-data-01
# STATUS應(yīng)該是Bound

kubectl get pvc app-data-pvc -n production
# STATUS應(yīng)該是Bound


	

	注意：靜態(tài)PV的storageClassName設(shè)為空字符串""，PVC也要設(shè)為空字符串，這樣PVC只會綁定沒有StorageClass的PV。如果不設(shè)置這個字段，PVC會嘗試使用默認(rèn)StorageClass進(jìn)行動態(tài)供給。

	2.2.2 NFS動態(tài)供給（StorageClass）

	安裝nfs-subdir-external-provisioner，實現(xiàn)NFS的動態(tài)PV創(chuàng)建：

	
# 使用Helm安裝
helm repo add nfs-subdir-external-provisioner 
 https://kubernetes-sigs.github.io/nfs-subdir-external-provisioner/

helm install nfs-provisioner nfs-subdir-external-provisioner/nfs-subdir-external-provisioner 
 --namespace kube-system 
 --setnfs.server=192.168.1.50 
 --setnfs.path=/data/nfs/k8s 
 --setstorageClass.name=nfs-client 
 --setstorageClass.defaultClass=false
 --setstorageClass.reclaimPolicy=Retain 
 --setstorageClass.archiveOnDelete=true

# 驗證StorageClass創(chuàng)建成功
kubectl get sc nfs-client


	

	手動創(chuàng)建StorageClass（不用Helm的方式）：

	
# 文件：nfs-storageclass.yaml
apiVersion:storage.k8s.io/v1
kind:StorageClass
metadata:
name:nfs-client
annotations:
 storageclass.kubernetes.io/is-default-class:"false"
provisioner:cluster.local/nfs-provisioner
parameters:
archiveOnDelete:"true"
reclaimPolicy:Retain
volumeBindingMode:Immediate
allowVolumeExpansion:true
mountOptions:
-hard
-nfsvers=4.1
-timeo=600
-retrans=3


	

	參數(shù)說明：

	archiveOnDelete: "true"：PVC刪除時不刪除NFS上的數(shù)據(jù)，而是重命名目錄加archived-前綴，防止誤刪

	reclaimPolicy: Retain：PVC刪除后PV保留，需要手動清理。生產(chǎn)環(huán)境必須用Retain，用Delete會直接刪數(shù)據(jù)

	volumeBindingMode: Immediate：PVC創(chuàng)建后立即綁定PV。Local PV要用WaitForFirstConsumer

	allowVolumeExpansion: true：允許PVC擴(kuò)容，NFS支持在線擴(kuò)容

	2.2.3 Local PV（本地持久卷）

	適合數(shù)據(jù)庫等對IO性能敏感的場景，數(shù)據(jù)存儲在節(jié)點本地SSD上：

	
# 文件：local-storageclass.yaml
apiVersion:storage.k8s.io/v1
kind:StorageClass
metadata:
name:local-ssd
provisioner:kubernetes.io/no-provisioner
volumeBindingMode:WaitForFirstConsumer
reclaimPolicy:Retain

# 文件：local-pv.yaml
apiVersion:v1
kind:PersistentVolume
metadata:
name:local-pv-worker01-ssd01
spec:
capacity:
 storage:100Gi
accessModes:
 -ReadWriteOnce
persistentVolumeReclaimPolicy:Retain
storageClassName:local-ssd
local:
 path:/data/local-volumes/ssd01
nodeAffinity:
 required:
  nodeSelectorTerms:
   -matchExpressions:
     -key:kubernetes.io/hostname
      operator:In
      values:
       -k8s-worker-01

# 在對應(yīng)節(jié)點上創(chuàng)建目錄
mkdir -p /data/local-volumes/ssd01

# 如果是獨立SSD，掛載到該目錄
# mkfs.xfs /dev/sdb
# mount /dev/sdb /data/local-volumes/ssd01
# echo '/dev/sdb /data/local-volumes/ssd01 xfs defaults 0 0' >> /etc/fstab

kubectl apply -flocal-storageclass.yaml
kubectl apply -flocal-pv.yaml


	

	警告：Local PV的數(shù)據(jù)和節(jié)點綁定，節(jié)點故障數(shù)據(jù)就丟了。生產(chǎn)環(huán)境用Local PV必須配合應(yīng)用層的數(shù)據(jù)復(fù)制（如MySQL主從、Redis Sentinel）來保證數(shù)據(jù)安全。

	2.2.4 Ceph RBD存儲（生產(chǎn)推薦）

	Ceph提供塊存儲（RBD）和文件存儲（CephFS），通過ceph-csi驅(qū)動接入K8s：

	
# 前提：已有Ceph集群，獲取以下信息
# - Ceph Monitor地址：192.168.1.60:6789,192.168.1.61:6789,192.168.1.62:6789
# - Ceph集群ID：通過 ceph fsid 獲取
# - 管理員密鑰：通過 ceph auth get-key client.admin 獲取

# 在Ceph集群上創(chuàng)建K8s專用pool和用戶
ceph osd pool create k8s-rbd 128 128
ceph osd pool applicationenablek8s-rbd rbd
rbd pool init k8s-rbd

ceph auth get-or-create client.k8s-rbd 
 mon'profile rbd'
 osd'profile rbd pool=k8s-rbd'
 -o /etc/ceph/ceph.client.k8s-rbd.keyring


	

	在K8s中配置ceph-csi：

	
# 安裝ceph-csi（使用Helm）
helm repo add ceph-csi https://ceph.github.io/csi-charts

helm install ceph-csi-rbd ceph-csi/ceph-csi-rbd 
 --namespace ceph-csi 
 --create-namespace 
 --setcsiConfig[0].clusterID= 
 --setcsiConfig[0].monitors[0]=192.168.1.60:6789 
 --setcsiConfig[0].monitors[1]=192.168.1.61:6789 
 --setcsiConfig[0].monitors[2]=192.168.1.62:6789


	

	創(chuàng)建Secret和StorageClass：

	
# 文件：ceph-rbd-secret.yaml
apiVersion:v1
kind:Secret
metadata:
name:ceph-rbd-secret
namespace:ceph-csi
type:kubernetes.io/rbd
stringData:
userID:k8s-rbd
userKey:
---
apiVersion:v1
kind:Secret
metadata:
name:ceph-rbd-admin-secret
namespace:ceph-csi
type:kubernetes.io/rbd
stringData:
userID:admin
userKey:

# 文件：ceph-rbd-storageclass.yaml
apiVersion:storage.k8s.io/v1
kind:StorageClass
metadata:
name:ceph-rbd
annotations:
 storageclass.kubernetes.io/is-default-class:"true"
provisioner:rbd.csi.ceph.com
parameters:
clusterID:
pool:k8s-rbd
imageFormat:"2"
imageFeatures:layering
csi.storage.k8s.io/provisioner-secret-name:ceph-rbd-secret
csi.storage.k8s.io/provisioner-secret-namespace:ceph-csi
csi.storage.k8s.io/controller-expand-secret-name:ceph-rbd-secret
csi.storage.k8s.io/controller-expand-secret-namespace:ceph-csi
csi.storage.k8s.io/node-stage-secret-name:ceph-rbd-secret
csi.storage.k8s.io/node-stage-secret-namespace:ceph-csi
reclaimPolicy:Retain
allowVolumeExpansion:true
volumeBindingMode:Immediate
mountOptions:
-discard

kubectl apply -f ceph-rbd-secret.yaml
kubectl apply -f ceph-rbd-storageclass.yaml

# 驗證
kubectl get sc ceph-rbd


	

	2.2.5 PVC擴(kuò)容

	
# 確認(rèn)StorageClass支持?jǐn)U容
kubectl get sc ceph-rbd -o jsonpath='{.allowVolumeExpansion}'
# 輸出：true

# 編輯PVC，修改storage大小
kubectl patch pvc mysql-data -n database -p'{"spec":{"resources":{"requests":{"storage":"200Gi"}}}}'

# 查看擴(kuò)容狀態(tài)
kubectl get pvc mysql-data -n database
# 如果顯示 FileSystemResizePending，需要Pod重啟后才能完成文件系統(tǒng)擴(kuò)容
# Ceph RBD支持在線擴(kuò)容，不需要重啟Pod

kubectl get events -n database --field-selector involvedObject.name=mysql-data


	

	注意：PVC只能擴(kuò)容不能縮容。NFS支持在線擴(kuò)容，Ceph RBD支持在線擴(kuò)容，Local PV不支持?jǐn)U容。

	2.3 啟動和驗證

	2.3.1 使用PVC的Pod

	
# 文件：app-with-pvc.yaml
apiVersion:apps/v1
kind:Deployment
metadata:
name:app-with-storage
namespace:default
spec:
replicas:3
selector:
 matchLabels:
  app:app-storage
template:
 metadata:
  labels:
   app:app-storage
 spec:
  containers:
   -name:app
    image:nginx:1.24
    volumeMounts:
     -name:shared-data
      mountPath:/usr/share/nginx/html
     -name:logs
      mountPath:/var/log/nginx
    resources:
     requests:
      cpu:100m
      memory:128Mi
  volumes:
   -name:shared-data
    persistentVolumeClaim:
     claimName:app-shared-pvc
   -name:logs
    persistentVolumeClaim:
     claimName:app-logs-pvc
---
apiVersion:v1
kind:PersistentVolumeClaim
metadata:
name:app-shared-pvc
namespace:default
spec:
accessModes:
 -ReadWriteMany
storageClassName:nfs-client
resources:
 requests:
  storage:10Gi
---
apiVersion:v1
kind:PersistentVolumeClaim
metadata:
name:app-logs-pvc
namespace:default
spec:
accessModes:
 -ReadWriteMany
storageClassName:nfs-client
resources:
 requests:
  storage:20Gi

kubectl apply -f app-with-pvc.yaml

# 驗證PVC綁定
kubectl get pvc -n default
# NAME       STATUS  VOLUME                   CAPACITY  ACCESS MODES  STORAGECLASS
# app-shared-pvc  Bound  pvc-xxxx-xxxx               10Gi    RWX      nfs-client
# app-logs-pvc   Bound  pvc-yyyy-yyyy               20Gi    RWX      nfs-client

# 驗證Pod掛載
kubectlexec-it $(kubectl get pod -l app=app-storage -o jsonpath='{.items[0].metadata.name}') -- df -h /usr/share/nginx/html


	

	2.3.2 StatefulSet的volumeClaimTemplates

	StatefulSet的每個Pod自動創(chuàng)建獨立的PVC：

	
# 文件：redis-statefulset.yaml
apiVersion:apps/v1
kind:StatefulSet
metadata:
name:redis
namespace:default
spec:
serviceName:redis
replicas:3
selector:
 matchLabels:
  app:redis
template:
 metadata:
  labels:
   app:redis
 spec:
  containers:
   -name:redis
    image:redis:7.2
    ports:
     -containerPort:6379
    volumeMounts:
     -name:redis-data
      mountPath:/data
    resources:
     requests:
      cpu:200m
      memory:256Mi
volumeClaimTemplates:
 -metadata:
   name:redis-data
  spec:
   accessModes:["ReadWriteOnce"]
   storageClassName:ceph-rbd
   resources:
    requests:
     storage:10Gi

kubectl apply -f redis-statefulset.yaml

# 驗證：每個Pod有獨立的PVC
kubectl get pvc -l app=redis
# redis-data-redis-0  Bound  pvc-aaa  10Gi  RWO  ceph-rbd
# redis-data-redis-1  Bound  pvc-bbb  10Gi  RWO  ceph-rbd
# redis-data-redis-2  Bound  pvc-ccc  10Gi  RWO  ceph-rbd


	

	注意：StatefulSet刪除后PVC不會自動刪除，需要手動清理。這是設(shè)計如此，防止誤刪數(shù)據(jù)。

	三、示例代碼和配置

	3.1 完整配置示例

	3.1.1 MySQL主從 + Ceph RBD完整存儲方案

	
# 文件：mysql-storage-complete.yaml
# MySQL主庫 - 使用Ceph RBD高性能塊存儲
apiVersion:v1
kind:PersistentVolumeClaim
metadata:
name:mysql-master-data
namespace:database
spec:
accessModes:
 -ReadWriteOnce
storageClassName:ceph-rbd
resources:
 requests:
  storage:100Gi
---
apiVersion:v1
kind:PersistentVolumeClaim
metadata:
name:mysql-master-logs
namespace:database
spec:
accessModes:
 -ReadWriteOnce
storageClassName:ceph-rbd
resources:
 requests:
  storage:50Gi
---
apiVersion:apps/v1
kind:Deployment
metadata:
name:mysql-master
namespace:database
spec:
replicas:1
strategy:
 type:Recreate
selector:
 matchLabels:
  app:mysql
  role:master
template:
 metadata:
  labels:
   app:mysql
   role:master
 spec:
  containers:
   -name:mysql
    image:mysql:8.0.35
    ports:
     -containerPort:3306
    env:
     -name:MYSQL_ROOT_PASSWORD
      valueFrom:
       secretKeyRef:
        name:mysql-secret
        key:root-password
    args:
     ---innodb-buffer-pool-size=2G
     ---innodb-log-file-size=512M
     ---innodb-flush-method=O_DIRECT
     ---innodb-io-capacity=2000
     ---innodb-io-capacity-max=4000
    resources:
     requests:
      cpu:"2"
      memory:4Gi
     limits:
      cpu:"4"
      memory:8Gi
    volumeMounts:
     -name:mysql-data
      mountPath:/var/lib/mysql
     -name:mysql-logs
      mountPath:/var/log/mysql
     -name:mysql-config
      mountPath:/etc/mysql/conf.d
    livenessProbe:
     exec:
      command:
       -mysqladmin
       -ping
       --h
       -localhost
     initialDelaySeconds:30
     periodSeconds:10
    readinessProbe:
     exec:
      command:
       -mysql
       --h
       -localhost
       --e
       -"SELECT 1"
     initialDelaySeconds:10
     periodSeconds:5
  volumes:
   -name:mysql-data
    persistentVolumeClaim:
     claimName:mysql-master-data
   -name:mysql-logs
    persistentVolumeClaim:
     claimName:mysql-master-logs
   -name:mysql-config
    configMap:
     name:mysql-config


	

	注意：MySQL的Deployment用strategy: Recreate而不是RollingUpdate，因為RBD卷是RWO模式，不能同時被兩個Pod掛載。RollingUpdate會先創(chuàng)建新Pod再刪舊Pod，新Pod掛載會失敗。

	3.1.2 存儲容量監(jiān)控腳本

	
#!/bin/bash
# PVC使用率監(jiān)控腳本
# 文件：/opt/scripts/pvc-usage-monitor.sh
# 通過kubelet的metrics獲取PVC使用率

set-euo pipefail

ALERT_THRESHOLD=85
LOG_FILE="/var/log/pvc-monitor.log"

echo"[$(date)] Starting PVC usage check...">>"${LOG_FILE}"

# 獲取所有節(jié)點的kubelet metrics中的volume信息
fornodein$(kubectl get nodes -o jsonpath='{.items[*].metadata.name}');do
# 通過API proxy訪問kubelet metrics
 kubectl get --raw"/api/v1/nodes/${node}/proxy/stats/summary"2>/dev/null | 
  jq -r'.pods[]? | select(.volume != null) | .podRef.namespace + "/" + .podRef.name + " " + (.volume[]? | select(.pvcRef != null) | .pvcRef.name + " " + (.usedBytes|tostring) + " " + (.capacityBytes|tostring))'2>/dev/null | 
 whilereadns_pod pvc used capacity;do
  if[ -n"${capacity}"] && ["${capacity}"!="0"];then
    usage_pct=$((used * 100 / capacity))
    used_gi=$((used / 1073741824))
    cap_gi=$((capacity / 1073741824))

   if["${usage_pct}"-ge"${ALERT_THRESHOLD}"];then
    echo"[ALERT]${ns_pod}PVC:${pvc}Usage:${usage_pct}% (${used_gi}Gi/${cap_gi}Gi)">>"${LOG_FILE}"
   fi
  fi
 done
done

echo"[$(date)] PVC usage check completed.">>"${LOG_FILE}"


	

	3.2 實際應(yīng)用案例

	案例一：多Pod共享NFS存儲實現(xiàn)文件上傳

	場景描述：Web應(yīng)用有3個副本，用戶上傳的文件需要所有副本都能訪問。用NFS的RWX模式實現(xiàn)共享存儲。

	實現(xiàn)代碼：

	
# 文件：file-upload-app.yaml
apiVersion:v1
kind:PersistentVolumeClaim
metadata:
name:upload-files-pvc
namespace:production
spec:
accessModes:
 -ReadWriteMany
storageClassName:nfs-client
resources:
 requests:
  storage:100Gi
---
apiVersion:apps/v1
kind:Deployment
metadata:
name:file-upload-api
namespace:production
spec:
replicas:3
selector:
 matchLabels:
  app:file-upload-api
template:
 metadata:
  labels:
   app:file-upload-api
 spec:
  containers:
   -name:api
    image:file-upload-api:v1.2.0
    ports:
     -containerPort:8080
    volumeMounts:
     -name:uploads
      mountPath:/app/uploads
    resources:
     requests:
      cpu:200m
      memory:256Mi
  volumes:
   -name:uploads
    persistentVolumeClaim:
     claimName:upload-files-pvc


	

	運行結(jié)果：

	
# 3個Pod都掛載了同一個NFS卷
kubectlexecfile-upload-api-xxx -- ls /app/uploads
# 在任一Pod中上傳的文件，其他Pod都能看到


	

	案例二：PV數(shù)據(jù)遷移（從NFS遷移到Ceph RBD）

	場景描述：業(yè)務(wù)初期用NFS存儲MySQL數(shù)據(jù)，隨著數(shù)據(jù)量增長NFS的IO性能成為瓶頸，需要遷移到Ceph RBD。

	實現(xiàn)步驟：

	創(chuàng)建新的Ceph RBD PVC

	啟動數(shù)據(jù)遷移Job

	切換應(yīng)用到新PVC

	驗證后清理舊PVC

	
# 文件：data-migration-job.yaml
apiVersion:batch/v1
kind:Job
metadata:
name:pvc-data-migration
namespace:database
spec:
template:
 spec:
  containers:
   -name:migrator
    image:ubuntu:22.04
    command:
     -/bin/bash
     --c
     -|
       apt-get update && apt-get install -y rsync
       echo "Starting data migration..."
       rsync -avz --progress /source/ /destination/
       echo "Migration completed. Verifying..."
       diff -r /source/ /destination/ && echo "Verification passed" || echo "Verification FAILED"
    volumeMounts:
     -name:source-vol
      mountPath:/source
      readOnly:true
     -name:dest-vol
      mountPath:/destination
    resources:
     requests:
      cpu:"1"
      memory:1Gi
  volumes:
   -name:source-vol
    persistentVolumeClaim:
     claimName:mysql-data-nfs
   -name:dest-vol
    persistentVolumeClaim:
     claimName:mysql-data-ceph
  restartPolicy:Never
backoffLimit:3

# 1. 停止MySQL寫入（設(shè)為只讀）
kubectlexec-it mysql-master-xxx -n database -- mysql -e"SET GLOBAL read_only=1;"

# 2. 創(chuàng)建目標(biāo)PVC
kubectl apply -f mysql-data-ceph-pvc.yaml

# 3. 執(zhí)行遷移Job
kubectl apply -f data-migration-job.yaml
kubectl logs -f job/pvc-data-migration -n database

# 4. 修改MySQL Deployment引用新PVC
kubectl patch deployment mysql-master -n database --type='json'
 -p='[{"op":"replace","path":"/spec/template/spec/volumes/0/persistentVolumeClaim/claimName","value":"mysql-data-ceph"}]'

# 5. 驗證MySQL正常啟動
kubectl get pods -n database -l app=mysql,role=master
kubectlexec-it mysql-master-xxx -n database -- mysql -e"SHOW DATABASES;"

# 6. 取消只讀
kubectlexec-it mysql-master-xxx -n database -- mysql -e"SET GLOBAL read_only=0;"


	

	四、最佳實踐和注意事項

	4.1 最佳實踐

	4.1.1 性能優(yōu)化

	NFS掛載參數(shù)調(diào)優(yōu)：默認(rèn)NFS掛載參數(shù)在高并發(fā)寫入時性能差，生產(chǎn)環(huán)境必須調(diào)整。hard模式保證數(shù)據(jù)一致性，nfsvers=4.1支持并行IO，timeo=600避免網(wǎng)絡(luò)抖動導(dǎo)致超時。

	
# StorageClass中設(shè)置mountOptions
mountOptions:
-hard
-nfsvers=4.1
-timeo=600
-retrans=3
-rsize=1048576
-wsize=1048576


	

	實測調(diào)整rsize/wsize從默認(rèn)的32KB到1MB后，大文件順序?qū)懭胪掏铝繌?0MB/s提升到350MB/s。

	Ceph RBD性能調(diào)優(yōu)：RBD鏡像默認(rèn)特性包含exclusive-lock、object-map、fast-diff，生產(chǎn)環(huán)境建議全部開啟。Ceph OSD的bluestore_cache_size默認(rèn)1GB，SSD節(jié)點建議調(diào)到4GB。

	
# 查看RBD鏡像特性
rbd info k8s-rbd/csi-vol-xxx

# Ceph OSD調(diào)優(yōu)（在Ceph節(jié)點執(zhí)行）
ceph configsetosd bluestore_cache_size_ssd 4294967296
ceph configsetosd osd_op_num_threads_per_shard_ssd 2


	

	Local PV使用XFS文件系統(tǒng)：相比ext4，XFS在大文件和高并發(fā)場景下性能更好，MySQL的InnoDB引擎在XFS上的隨機(jī)寫性能提升約15%。

	
mkfs.xfs -f /dev/sdb
mount -o noatime,nodiratime /dev/sdb /data/local-volumes/ssd01


	

	4.1.2 安全加固

	PV訪問權(quán)限控制：通過SecurityContext設(shè)置Pod的fsGroup，確保掛載的卷只有指定用戶組能訪問。

	
spec:
securityContext:
 runAsUser:1000
 runAsGroup:1000
 fsGroup:1000
containers:
 -name:app
  volumeMounts:
   -name:data
    mountPath:/data


	

	加密存儲：Ceph RBD支持LUKS加密，數(shù)據(jù)在磁盤上是加密的，即使磁盤被盜也無法讀取數(shù)據(jù)。

	
# StorageClass中啟用加密
parameters:
encrypted:"true"
encryptionKMSID:vault-kms


	

	限制PVC大小：通過LimitRange限制namespace中PVC的最大容量，防止用戶申請過大的存儲。

	
apiVersion:v1
kind:LimitRange
metadata:
name:storage-limits
namespace:production
spec:
limits:
 -type:PersistentVolumeClaim
  max:
   storage:500Gi
  min:
   storage:1Gi


	

	4.1.3 高可用配置

	HA方案一：Ceph RBD三副本存儲，任一OSD節(jié)點故障數(shù)據(jù)不丟失，RBD卷自動恢復(fù)

	HA方案二：NFS服務(wù)器用DRBD + Pacemaker做主備高可用，VIP自動漂移

	備份策略：Ceph RBD使用快照功能定期備份，NFS使用rsync同步到備份服務(wù)器。VolumeSnapshot是K8s原生的快照機(jī)制：

	
apiVersion:snapshot.storage.k8s.io/v1
kind:VolumeSnapshot
metadata:
name:mysql-data-snapshot
namespace:database
spec:
volumeSnapshotClassName:ceph-rbd-snapclass
source:
 persistentVolumeClaimName:mysql-master-data


	

	4.2 注意事項

	4.2.1 配置注意事項

	警告：存儲配置錯誤可能導(dǎo)致數(shù)據(jù)丟失，修改前務(wù)必備份數(shù)據(jù)。

	注意reclaimPolicy: Delete會在PVC刪除時同時刪除PV和后端存儲數(shù)據(jù)。生產(chǎn)環(huán)境必須用Retain，寧可手動清理也不要自動刪除。

	注意Local PV的volumeBindingMode必須設(shè)為WaitForFirstConsumer，否則PVC可能綁定到一個節(jié)點的PV上，但Pod被調(diào)度到另一個節(jié)點，導(dǎo)致掛載失敗。

	注意NFS的no_root_squash選項允許客戶端以root身份操作文件，安全風(fēng)險高。生產(chǎn)環(huán)境用root_squash，通過initContainer以root身份設(shè)置目錄權(quán)限后，主容器以非root用戶運行。

	4.2.2 常見錯誤

				錯誤現(xiàn)象
			

				原因分析
			

				解決方案
		

				PVC一直Pending
			

				沒有匹配的PV或StorageClass的Provisioner未運行
			

				kubectl describe pvc 查看事件；檢查Provisioner Pod狀態(tài)
		

				Pod掛載卷失敗，報Multi-Attach error
			

				RWO卷被多個節(jié)點的Pod同時掛載
			

				確認(rèn)舊Pod已完全終止；檢查是否有殘留的VolumeAttachment
		

				NFS掛載超時
			

				NFS服務(wù)器不可達(dá)或防火墻阻斷
			

				檢查NFS服務(wù)器狀態(tài)；確認(rèn)2049端口可訪問；Worker節(jié)點安裝nfs-common
		

				Ceph RBD掛載報rbd: map failed
			

				Ceph集群不健康或認(rèn)證失敗
			

				檢查Ceph集群狀態(tài)ceph -s；驗證Secret中的key是否正確
		

				PVC擴(kuò)容后容量沒變
			

				文件系統(tǒng)未擴(kuò)展，需要Pod重啟
			

				刪除Pod觸發(fā)重建，kubelet會自動擴(kuò)展文件系統(tǒng)
		

				StatefulSet縮容后PVC殘留
			

				設(shè)計如此，PVC不隨Pod刪除
			

				手動刪除不需要的PVC：kubectl delete pvc 
		

	4.2.3 兼容性問題

	版本兼容：CSI驅(qū)動版本需要和K8s版本匹配，ceph-csi 3.9.x支持K8s 1.24-1.28

	平臺兼容：NFS在所有Linux發(fā)行版上都支持；Ceph RBD需要內(nèi)核4.x+；CephFS需要內(nèi)核4.17+

	組件依賴：VolumeSnapshot需要安裝snapshot-controller和對應(yīng)的CSI驅(qū)動支持

	五、故障排查和監(jiān)控

	5.1 故障排查

	5.1.1 日志查看

	
# 查看CSI驅(qū)動日志
kubectl logs -n ceph-csi -l app=ceph-csi-rbd-nodeplugin --tail=50
kubectl logs -n ceph-csi -l app=ceph-csi-rbd-provisioner --tail=50

# 查看NFS Provisioner日志
kubectl logs -n kube-system -l app=nfs-subdir-external-provisioner --tail=50

# 查看kubelet的卷掛載日志
journalctl -u kubelet | grep -i"volume|mount|pvc"| tail -30

# 查看PVC事件
kubectl describe pvc  -n 

# 查看VolumeAttachment
kubectl get volumeattachment


	

	5.1.2 常見問題排查

	問題一：PVC Pending，事件顯示no persistent volumes available

	
# 診斷命令
kubectl describe pvc  -n 
kubectl get pv --show-labels
kubectl get sc


	

	解決方案：

	靜態(tài)供給：檢查是否有可用的PV，PV的容量、accessModes、storageClassName是否和PVC匹配

	動態(tài)供給：檢查StorageClass是否存在，Provisioner Pod是否Running

	檢查PV的狀態(tài)是否為Available（已綁定的PV不能再綁定其他PVC）

	問題二：Pod卡在ContainerCreating，報FailedMount

	
# 診斷命令
kubectl describe pod  -n  | grep -A 10"Events"
kubectl get volumeattachment | grep 

# 檢查節(jié)點上的掛載情況
kubectl debug node/ -it --image=ubuntu:22.04 -- 
 mount | grep 


	

	解決方案：

	NFS掛載失敗：確認(rèn)Worker節(jié)點安裝了nfs-common，NFS服務(wù)器可達(dá)

	RBD掛載失敗：檢查Ceph集群健康狀態(tài)，確認(rèn)Secret配置正確

	Multi-Attach錯誤：等待舊Pod完全終止，或手動刪除殘留的VolumeAttachment

	問題三：存儲性能差，IO延遲高

	癥狀：應(yīng)用響應(yīng)慢，數(shù)據(jù)庫查詢超時

	排查：

	
# 在Pod內(nèi)測試IO性能
kubectlexec-it  -- bash
# 安裝fio
apt-get update && apt-get install -y fio

# 隨機(jī)讀寫測試
fio --name=randwrite --ioengine=libaio --iodepth=32 --rw=randwrite 
 --bs=4k --direct=1 --size=1G --numjobs=4 --runtime=60 
 --filename=/data/fio-test --group_reporting

# 順序?qū)憸y試
fio --name=seqwrite --ioengine=libaio --iodepth=32 --rw=write 
 --bs=1M --direct=1 --size=1G --numjobs=1 --runtime=60 
 --filename=/data/fio-test --group_reporting


	

	解決：

	NFS性能差：調(diào)整rsize/wsize到1MB，升級到NFSv4.1

	Ceph RBD性能差：檢查OSD磁盤是否為SSD，調(diào)整bluestore_cache_size

	考慮遷移到Local PV獲取本地磁盤性能

	5.1.3 調(diào)試模式

	
# 查看CSI驅(qū)動詳細(xì)日志
kubectl logs -n ceph-csi  -c csi-rbdplugin --tail=200

# 手動測試Ceph連接
kubectl run ceph-test --image=quay.io/ceph/ceph:v18 --rm -it -- bash
ceph -s --conf /etc/ceph/ceph.conf

# 查看節(jié)點上的塊設(shè)備
kubectl debug node/ -it --image=ubuntu:22.04 -- lsblk

# 查看掛載點
kubectl debug node/ -it --image=ubuntu:22.04 -- df -h


	

	5.2 性能監(jiān)控

	5.2.1 關(guān)鍵指標(biāo)監(jiān)控

	
# PVC使用率（需要kubelet metrics）
kubectl get --raw"/api/v1/nodes//proxy/stats/summary"| 
 jq'.pods[].volume[]? | select(.pvcRef != null) | {pvc: .pvcRef.name, used: .usedBytes, capacity: .capacityBytes}'

# Ceph集群狀態(tài)
ceph -s
ceph osd pool stats k8s-rbd

# NFS服務(wù)器IO
nfsstat -s
iostat -x 1 5


	

	5.2.2 監(jiān)控指標(biāo)說明

				指標(biāo)名稱
			

				正常范圍
			

				告警閾值
			

				說明
		

				PVC使用率
			

				<70%
			

				>85%
			

				超過85%需要擴(kuò)容或清理數(shù)據(jù)
		

				Ceph集群健康狀態(tài)
			

				HEALTH_OK
			

				HEALTH_WARN
			

				WARN需要排查，ERR需要立即處理
		

				Ceph OSD延遲
			

				<10ms
			

				>50ms
			

				OSD延遲高影響所有RBD卷性能
		

				NFS服務(wù)器IOPS
			

				按硬件
			

				接近硬件上限
			

				IOPS飽和需要擴(kuò)容NFS或遷移到分布式存儲
		

				卷掛載失敗次數(shù)
			

				0
			

				>0
			

				任何掛載失敗都需要排查
		

				PV Available數(shù)量
			

				>5
			

				<2
			

				靜態(tài)供給時可用PV不足需要提前創(chuàng)建
		

	5.2.3 Prometheus監(jiān)控規(guī)則

	
# 文件：storage-alerts.yaml
apiVersion:monitoring.coreos.com/v1
kind:PrometheusRule
metadata:
name:storage-alerts
namespace:monitoring
spec:
groups:
 -name:kubernetes-storage
  rules:
   -alert:PVCUsageHigh
    expr:|
      kubelet_volume_stats_used_bytes / kubelet_volume_stats_capacity_bytes > 0.85
    for:10m
    labels:
     severity:warning
    annotations:
     summary:"PVC{{ $labels.persistentvolumeclaim }}usage exceeds 85%"
     description:"Namespace:{{ $labels.namespace }}"

   -alert:PVCUsageCritical
    expr:|
      kubelet_volume_stats_used_bytes / kubelet_volume_stats_capacity_bytes > 0.95
    for:5m
    labels:
     severity:critical
    annotations:
     summary:"PVC{{ $labels.persistentvolumeclaim }}usage exceeds 95%"

   -alert:PVCPending
    expr:|
      kube_persistentvolumeclaim_status_phase{phase="Pending"} == 1
    for:15m
    labels:
     severity:warning
    annotations:
     summary:"PVC{{ $labels.persistentvolumeclaim }}has been Pending for 15 minutes"

   -alert:PVAvailableLow
    expr:|
      count(kube_persistentvolume_status_phase{phase="Available"}) < 2
? ? ? ? ??for:10m
? ? ? ? ??labels:
? ? ? ? ? ??severity:warning
? ? ? ? ??annotations:
? ? ? ? ? ??summary:"Less than 2 PVs available in the cluster"

? ? ? ??-alert:VolumeAttachmentFailed
? ? ? ? ??expr:|
? ? ? ? ? ? increase(storage_operation_errors_total[5m]) > 0
    for:5m
    labels:
     severity:warning
    annotations:
     summary:"Volume operation errors detected"


	

	5.3 備份與恢復(fù)

	5.3.1 備份策略

	
#!/bin/bash
# Ceph RBD快照備份腳本
# 文件：/opt/scripts/rbd-snapshot-backup.sh

set-euo pipefail

POOL="k8s-rbd"
BACKUP_PREFIX="scheduled-backup"
KEEP_SNAPSHOTS=24

# 獲取pool中所有RBD鏡像
forimagein$(rbd ls${POOL});do
 SNAP_NAME="${BACKUP_PREFIX}-$(date +%Y%m%d-%H%M%S)"

# 創(chuàng)建快照
 rbd snap create"${POOL}/${image}@${SNAP_NAME}"
echo"[$(date)] Created snapshot:${POOL}/${image}@${SNAP_NAME}"

# 清理過期快照（保留最近24個）
 rbd snap ls"${POOL}/${image}"| grep"${BACKUP_PREFIX}"| 
  head -n -${KEEP_SNAPSHOTS}| awk'{print $2}'| 
 whilereadold_snap;do
   rbd snap rm"${POOL}/${image}@${old_snap}"
  echo"[$(date)] Removed old snapshot:${POOL}/${image}@${old_snap}"
 done
done


	

	5.3.2 恢復(fù)流程

	停止服務(wù)：縮容使用該PVC的Deployment/StatefulSet到0副本

	恢復(fù)數(shù)據(jù)：從快照恢復(fù)RBD鏡像或從備份rsync數(shù)據(jù)

	驗證完整性：掛載卷檢查數(shù)據(jù)完整性

	重啟服務(wù)：恢復(fù)Deployment/StatefulSet副本數(shù)

	六、總結(jié)

	6.1 技術(shù)要點回顧

	要點一：生產(chǎn)環(huán)境reclaimPolicy必須設(shè)為Retain，Delete策略會在PVC刪除時直接刪除后端存儲數(shù)據(jù)

	要點二：Local PV的volumeBindingMode必須用WaitForFirstConsumer，避免PV和Pod調(diào)度到不同節(jié)點

	要點三：NFS適合共享文件存儲（RWX），Ceph RBD適合數(shù)據(jù)庫塊存儲（RWO），根據(jù)業(yè)務(wù)需求選型

	要點四：StorageClass + Provisioner實現(xiàn)動態(tài)供給，消除手動創(chuàng)建PV的運維負(fù)擔(dān)

	要點五：PVC只能擴(kuò)容不能縮容，容量規(guī)劃時預(yù)留30%余量，配合監(jiān)控在85%使用率時告警

	6.2 進(jìn)階學(xué)習(xí)方向

	CSI驅(qū)動開發(fā)：理解CSI接口規(guī)范，為自研存儲系統(tǒng)開發(fā)K8s CSI驅(qū)動

	學(xué)習(xí)資源：CSI規(guī)范

	實踐建議：從ceph-csi源碼入手，理解Provisioner和NodePlugin的工作流程

	Rook-Ceph Operator：用Rook在K8s中自動化部署和管理Ceph集群，降低Ceph運維復(fù)雜度

	學(xué)習(xí)資源：Rook官方文檔

	實踐建議：測試環(huán)境用Rook部署3節(jié)點Ceph集群，體驗自動化運維

	VolumeSnapshot和數(shù)據(jù)保護(hù)：基于CSI的快照機(jī)制實現(xiàn)應(yīng)用一致性備份

	6.3 參考資料

	Kubernetes存儲官方文檔- PV/PVC/SC完整說明

	Ceph CSI項目- Ceph CSI驅(qū)動

	NFS Provisioner- NFS動態(tài)供給

	Longhorn項目- 輕量級分布式存儲

	附錄

	A. 命令速查表

	
# PV操作
kubectl get pv                  # 查看所有PV
kubectl get pv -o wide              # 查看PV詳情（含StorageClass）
kubectl describe pv           # PV詳細(xì)信息
kubectl delete pv            # 刪除PV（Retain策略下數(shù)據(jù)不丟）

# PVC操作
kubectl get pvc -A                # 查看所有namespace的PVC
kubectl get pvc -n           # 查看指定namespace的PVC
kubectl describe pvc  -n   # PVC詳細(xì)信息和事件
kubectl patch pvc  -p'{"spec":{"resources":{"requests":{"storage":"100Gi"}}}}'# 擴(kuò)容

# StorageClass操作
kubectl get sc                  # 查看StorageClass列表
kubectl describe sc           # SC詳細(xì)信息
kubectl patch sc  -p'{"metadata":{"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'# 設(shè)為默認(rèn)SC

# 排查命令
kubectl get volumeattachment           # 查看卷掛載關(guān)系
kubectl get events -A --field-selector reason=FailedMount # 掛載失敗事件


	

	B. 配置參數(shù)詳解

	StorageClass關(guān)鍵參數(shù)：

				參數(shù)
			

				說明
			

				可選值
		

				provisioner
			

				存儲供給器
			

				rbd.csi.ceph.com 、nfs.csi.k8s.io等
		

				reclaimPolicy
			

				回收策略
			

				Retain （保留）、Delete（刪除）
		

				volumeBindingMode
			

				綁定模式
			

				Immediate （立即）、WaitForFirstConsumer（延遲）
		

				allowVolumeExpansion
			

				允許擴(kuò)容
			

				true /false
		

				mountOptions
			

				掛載選項
			

				依存儲類型而定
		

	PV訪問模式：

				模式
			

				縮寫
			

				說明
			

				支持的存儲
		

				ReadWriteOnce
			

				RWO
			

				單節(jié)點讀寫
			

				所有存儲類型
		

				ReadOnlyMany
			

				ROX
			

				多節(jié)點只讀
			

				NFS、CephFS、云盤
		

				ReadWriteMany
			

				RWX
			

				多節(jié)點讀寫
			

				NFS、CephFS、GlusterFS
		

				ReadWriteOncePod
			

				RWOP
			

				單Pod讀寫（1.27 GA）
			

				CSI驅(qū)動支持
		

	C. 術(shù)語表

				術(shù)語
			

				英文
			

				解釋
		

				PV
			

				PersistentVolume
			

				集群級別的存儲資源，由管理員創(chuàng)建或動態(tài)供給
		

				PVC
			

				PersistentVolumeClaim
			

				用戶對存儲的申請，綁定到PV后供Pod使用
		

				SC
			

				StorageClass
			

				存儲類，定義動態(tài)供給的參數(shù)和策略
		

				CSI
			

				Container Storage Interface
			

				容器存儲接口標(biāo)準(zhǔn)，存儲廠商實現(xiàn)CSI驅(qū)動接入K8s
		

				RBD
			

				RADOS Block Device
			

				Ceph的塊存儲設(shè)備，提供高性能塊級IO
		

				Provisioner
			

				供給器
			

				負(fù)責(zé)根據(jù)PVC自動創(chuàng)建PV的控制器
		

				VolumeSnapshot
			

				卷快照
			

				基于CSI的存儲快照機(jī)制，用于數(shù)據(jù)備份
		

				fsGroup
			

				文件系統(tǒng)組
			

				Pod SecurityContext中設(shè)置，控制掛載卷的文件組權(quán)限