一、概述

1.1 背景介紹

企業(yè)IT基礎(chǔ)設(shè)施經(jīng)歷了從物理機(jī)時(shí)代到虛擬化時(shí)代的演進(jìn)。傳統(tǒng)數(shù)據(jù)中心中，每臺(tái)物理服務(wù)器運(yùn)行單一應(yīng)用，資源利用率普遍不足20%。硬件采購(gòu)周期長(zhǎng)、擴(kuò)容慢、運(yùn)維成本高，難以滿(mǎn)足業(yè)務(wù)快速發(fā)展的需求。虛擬化技術(shù)的出現(xiàn)徹底改變了這一局面，通過(guò)在單臺(tái)物理機(jī)上運(yùn)行多個(gè)虛擬機(jī)，將資源利用率提升至60%以上，同時(shí)實(shí)現(xiàn)了分鐘級(jí)的虛擬機(jī)創(chuàng)建和彈性伸縮。

KVM（Kernel-based Virtual Machine）是Linux內(nèi)核內(nèi)置的虛擬化解決方案，自2007年合并入Linux 2.6.20內(nèi)核后，逐漸成為開(kāi)源虛擬化領(lǐng)域的事實(shí)標(biāo)準(zhǔn)。與VMware vSphere、Microsoft Hyper-V等商業(yè)方案相比，KVM完全開(kāi)源免費(fèi)，性能接近原生，且與Linux生態(tài)深度集成。紅帽O(jiān)penStack、Proxmox VE、oVirt等企業(yè)級(jí)私有云平臺(tái)均以KVM作為底層虛擬化引擎。

2026年的KVM生態(tài)已相當(dāng)成熟。Linux 6.x內(nèi)核帶來(lái)了顯著的虛擬化性能提升，QEMU 9.x增加了對(duì)ARM64和RISC-V架構(gòu)的完整支持，libvirt 10.x提供了更強(qiáng)大的管理能力。結(jié)合Ceph分布式存儲(chǔ)和Open vSwitch軟件定義網(wǎng)絡(luò)，KVM已具備構(gòu)建大規(guī)模企業(yè)級(jí)私有云的全部能力。

1.2 技術(shù)特點(diǎn)

硬件輔助虛擬化

KVM依賴(lài)CPU的硬件虛擬化擴(kuò)展（Intel VT-x或AMD-V）實(shí)現(xiàn)高效虛擬化。硬件虛擬化通過(guò)引入新的CPU特權(quán)級(jí)別（VMX root/non-root模式），使虛擬機(jī)能夠直接執(zhí)行大部分指令而無(wú)需陷入宿主機(jī)處理，性能損耗控制在5%以?xún)?nèi)。相比純軟件模擬方案（如早期QEMU），性能提升數(shù)十倍。

全虛擬化與半虛擬化

KVM支持兩種虛擬化模式。全虛擬化模式下，Guest OS無(wú)需修改即可運(yùn)行，QEMU模擬完整的硬件環(huán)境。半虛擬化模式通過(guò)virtio驅(qū)動(dòng)，Guest OS直接與宿主機(jī)通信，避免了硬件模擬開(kāi)銷(xiāo)，I/O性能接近原生。生產(chǎn)環(huán)境強(qiáng)烈建議使用virtio驅(qū)動(dòng)。

內(nèi)存虛擬化技術(shù)

KVM使用EPT（Extended Page Tables，Intel）或NPT（Nested Page Tables，AMD）技術(shù)加速內(nèi)存虛擬化，減少地址轉(zhuǎn)換開(kāi)銷(xiāo)。KSM（Kernel Same-page Merging）技術(shù)可自動(dòng)合并虛擬機(jī)間的相同內(nèi)存頁(yè)，在運(yùn)行多個(gè)相同OS的虛擬機(jī)場(chǎng)景下顯著節(jié)省內(nèi)存。Huge Pages支持減少TLB miss，提升內(nèi)存訪問(wèn)性能。

設(shè)備直通

VFIO框架支持將物理設(shè)備（如GPU、NVMe SSD、網(wǎng)卡）直接分配給虛擬機(jī)，虛擬機(jī)獨(dú)占設(shè)備，性能與物理機(jī)無(wú)異。SR-IOV技術(shù)允許單個(gè)物理網(wǎng)卡虛擬出多個(gè)虛擬功能（VF），每個(gè)VF可分配給不同虛擬機(jī)，實(shí)現(xiàn)高性能網(wǎng)絡(luò)虛擬化。

熱遷移能力

KVM支持在不停機(jī)的情況下將運(yùn)行中的虛擬機(jī)從一臺(tái)物理機(jī)遷移到另一臺(tái)。熱遷移過(guò)程中，虛擬機(jī)內(nèi)存通過(guò)迭代復(fù)制傳輸，業(yè)務(wù)中斷時(shí)間控制在毫秒級(jí)。這一能力是實(shí)現(xiàn)物理機(jī)維護(hù)、負(fù)載均衡和高可用的基礎(chǔ)。

1.3 適用場(chǎng)景

服務(wù)器整合

將多個(gè)低負(fù)載的物理服務(wù)器整合到少量高配置物理機(jī)上運(yùn)行，減少硬件數(shù)量和機(jī)房空間占用，降低電力和冷卻成本。典型場(chǎng)景如將20臺(tái)利用率10%的物理機(jī)整合到3臺(tái)虛擬化主機(jī)上。

開(kāi)發(fā)測(cè)試環(huán)境

為開(kāi)發(fā)團(tuán)隊(duì)提供自助式虛擬機(jī)服務(wù)，開(kāi)發(fā)者可快速創(chuàng)建與生產(chǎn)環(huán)境一致的測(cè)試環(huán)境。虛擬機(jī)快照支持環(huán)境的快速回滾，便于測(cè)試驗(yàn)證。相比云主機(jī)方案，私有云測(cè)試環(huán)境成本更低且數(shù)據(jù)不出內(nèi)網(wǎng)。

私有云平臺(tái)

大中型企業(yè)構(gòu)建內(nèi)部云平臺(tái)，對(duì)外提供IaaS服務(wù)。業(yè)務(wù)部門(mén)通過(guò)自助門(mén)戶(hù)申請(qǐng)?zhí)摂M機(jī)資源，IT部門(mén)統(tǒng)一管理物理資源池。相比公有云，私有云在數(shù)據(jù)安全、合規(guī)性和長(zhǎng)期成本方面具有優(yōu)勢(shì)。

容器基礎(chǔ)設(shè)施

Kubernetes等容器平臺(tái)通常部署在虛擬機(jī)集群之上，而非直接運(yùn)行在物理機(jī)上。虛擬化層提供了更好的隔離性和資源管理能力，便于集群的擴(kuò)容縮容和故障恢復(fù)。

災(zāi)難恢復(fù)

虛擬機(jī)作為文件存在，便于備份和跨站點(diǎn)復(fù)制。結(jié)合存儲(chǔ)復(fù)制技術(shù)，可實(shí)現(xiàn)分鐘級(jí)RPO的異地災(zāi)備。災(zāi)難發(fā)生時(shí)，在備份站點(diǎn)啟動(dòng)虛擬機(jī)即可恢復(fù)業(yè)務(wù)。

1.4 環(huán)境要求

二、詳細(xì)步驟

2.1 準(zhǔn)備工作

檢查CPU虛擬化支持

部署KVM前必須確認(rèn)CPU支持硬件虛擬化：

# 檢查CPU虛擬化標(biāo)志
# Intel CPU查找vmx，AMD CPU查找svm
grep -E'(vmx|svm)'/proc/cpuinfo | head -1

# 如果有輸出則表示支持，如：
# flags : ... vmx ...

# 使用專(zhuān)用工具檢查
apt install cpu-checker -y # Debian/Ubuntu
kvm-ok

# 期望輸出
INFO: /dev/kvm exists
KVM acceleration can be used

如果CPU支持虛擬化但/dev/kvm不存在，需要在BIOS中啟用虛擬化功能（Intel VT-x / AMD-V）。

檢查內(nèi)核模塊

# 查看KVM模塊是否加載
lsmod | grep kvm

# 期望輸出（Intel平臺(tái)）
kvm_intel       385024 0
kvm         1142784 1 kvm_intel

# AMD平臺(tái)
kvm_amd        155648 0
kvm         1142784 1 kvm_amd

# 如未加載，手動(dòng)加載模塊
modprobe kvm
modprobe kvm_intel # 或 kvm_amd

安裝KVM組件

RHEL/Rocky Linux/CentOS Stream：

# 安裝虛擬化組件
dnf install -y qemu-kvm libvirt libvirt-client virt-install virt-viewer virt-manager

# 安裝額外工具
dnf install -y bridge-utils virt-top libguestfs-tools

# 啟動(dòng)libvirtd服務(wù)
systemctlenable--now libvirtd

# 驗(yàn)證安裝
virsh version

Ubuntu/Debian：

# 安裝虛擬化組件
apt update
apt install -y qemu-kvm libvirt-daemon-system libvirt-clients virtinst virt-manager

# 安裝額外工具
apt install -y bridge-utils libguestfs-tools cpu-checker

# 將當(dāng)前用戶(hù)加入libvirt組
usermod -aG libvirt$USER
usermod -aG kvm$USER

# 啟動(dòng)服務(wù)
systemctlenable--now libvirtd

# 驗(yàn)證
virsh list --all

配置存儲(chǔ)池

libvirt使用存儲(chǔ)池管理虛擬機(jī)磁盤(pán)鏡像：

# 查看默認(rèn)存儲(chǔ)池
virsh pool-list --all

# 創(chuàng)建目錄類(lèi)型存儲(chǔ)池
virsh pool-define-as vmpool dir --target /data/libvirt/images
virsh pool-build vmpool
virsh pool-start vmpool
virsh pool-autostart vmpool

# 驗(yàn)證存儲(chǔ)池
virsh pool-info vmpool

# 輸出示例
Name:      vmpool
UUID:      xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
State:     running
Persistent:   yes
Autostart:   yes
Capacity:    1.82 TiB
Allocation:   156.23 GiB
Available:   1.67 TiB

2.2 核心配置

配置網(wǎng)橋網(wǎng)絡(luò)

生產(chǎn)環(huán)境虛擬機(jī)通常使用網(wǎng)橋模式接入網(wǎng)絡(luò)，與物理機(jī)處于同一網(wǎng)段：

# 使用nmcli配置網(wǎng)橋（RHEL系）
# 創(chuàng)建網(wǎng)橋
nmcli connection addtypebridge ifname br0 con-name br0

# 配置網(wǎng)橋IP
nmcli connection modify br0 ipv4.addresses 192.168.1.10/24
nmcli connection modify br0 ipv4.gateway 192.168.1.1
nmcli connection modify br0 ipv4.dns"8.8.8.8 114.114.114.114"
nmcli connection modify br0 ipv4.method manual

# 將物理網(wǎng)卡加入網(wǎng)橋
nmcli connection addtypebridge-slave ifname eth0 master br0

# 關(guān)閉原網(wǎng)卡連接
nmcli connection down"Wired connection 1"

# 啟用網(wǎng)橋
nmcli connection up br0

Ubuntu使用netplan配置：

# /etc/netplan/01-bridge.yaml
network:
version:2
renderer:networkd
ethernets:
 eth0:
  dhcp4:false
bridges:
 br0:
  interfaces:[eth0]
  addresses:
   -192.168.1.10/24
  routes:
   -to:default
    via:192.168.1.1
  nameservers:
   addresses:[8.8.8.8,114.114.114.114]
  parameters:
   stp:false
   forward-delay:0

# 應(yīng)用配置
netplan apply

# 驗(yàn)證網(wǎng)橋
ip addr show br0
bridge link show

在libvirt中定義網(wǎng)橋網(wǎng)絡(luò)：

 

br0-network

# 定義并啟動(dòng)網(wǎng)絡(luò)
virsh net-define /tmp/bridge-network.xml
virsh net-start br0-network
virsh net-autostart br0-network

# 查看網(wǎng)絡(luò)列表
virsh net-list --all

配置NAT網(wǎng)絡(luò)（隔離網(wǎng)絡(luò)）

開(kāi)發(fā)測(cè)試環(huán)境可使用NAT模式，虛擬機(jī)通過(guò)宿主機(jī)NAT訪問(wèn)外網(wǎng)：

 

dev-network

 
  
 



 
  
  
  
 

virsh net-define /tmp/nat-network.xml
virsh net-start dev-network
virsh net-autostart dev-network

配置存儲(chǔ)后端

本地LVM存儲(chǔ)（高性能）：

# 創(chuàng)建LVM卷組用于虛擬機(jī)存儲(chǔ)
pvcreate /dev/sdb
vgcreate vg_vm /dev/sdb

# 定義LVM存儲(chǔ)池
virsh pool-define-as lvmpool logical --source-name vg_vm --target /dev/vg_vm
virsh pool-start lvmpool
virsh pool-autostart lvmpool

NFS共享存儲(chǔ)（支持熱遷移）：

# 掛載NFS存儲(chǔ)
mkdir -p /data/nfs-vm
mount -t nfs nfs-server:/export/vm-images /data/nfs-vm

# 配置開(kāi)機(jī)自動(dòng)掛載
echo"nfs-server:/export/vm-images /data/nfs-vm nfs defaults,_netdev 0 0">> /etc/fstab

# 定義NFS存儲(chǔ)池
virsh pool-define-as nfspool netfs --source-host nfs-server --source-path /export/vm-images --target /data/nfs-vm
virsh pool-start nfspool
virsh pool-autostart nfspool

libvirt配置優(yōu)化

編輯/etc/libvirt/libvirtd.conf：

# 監(jiān)聽(tīng)TCP連接（集群管理需要）
listen_tls = 0
listen_tcp = 1
tcp_port ="16509"
listen_addr ="0.0.0.0"
auth_tcp ="none"# 生產(chǎn)環(huán)境應(yīng)配置SASL認(rèn)證

# 日志配置
log_level = 3
log_outputs ="3/var/log/libvirt/libvirtd.log"

# 性能優(yōu)化
max_clients = 5000
max_workers = 20
max_requests = 20
max_client_requests = 5

啟用TCP監(jiān)聽(tīng)：

# RHEL系
echo'LIBVIRTD_ARGS="--listen"'>> /etc/sysconfig/libvirtd

# Ubuntu
echo'libvirtd_opts="-l"'>> /etc/default/libvirtd

# 重啟服務(wù)
systemctl restart libvirtd

2.3 啟動(dòng)和驗(yàn)證

創(chuàng)建虛擬機(jī)

使用virt-install命令行創(chuàng)建虛擬機(jī)：

# 創(chuàng)建CentOS虛擬機(jī)
virt-install 
 --name centos9-vm1 
 --memory 4096 
 --vcpus 2 
 --cpu host-passthrough 
 --disk path=/data/libvirt/images/centos9-vm1.qcow2,size=50,format=qcow2,bus=virtio 
 --network network=br0-network,model=virtio 
 --os-variant centos-stream9 
 --graphics vnc,listen=0.0.0.0,port=5901 
 --cdrom /data/iso/CentOS-Stream-9-latest-x86_64-dvd1.iso 
 --boot cdrom,hd 
 --noautoconsole

# 參數(shù)說(shuō)明
# --cpu host-passthrough: 透?jìng)鰿PU特性，性能最優(yōu)
# --disk bus=virtio: 使用virtio磁盤(pán)驅(qū)動(dòng)
# --network model=virtio: 使用virtio網(wǎng)絡(luò)驅(qū)動(dòng)

使用cloud-init快速創(chuàng)建虛擬機(jī)（推薦）：

# 下載cloud鏡像
wget https://cloud.centos.org/centos/9-stream/x86_64/images/CentOS-Stream-GenericCloud-9-latest.x86_64.qcow2

# 創(chuàng)建磁盤(pán)
qemu-img create -f qcow2 -F qcow2 -b CentOS-Stream-GenericCloud-9-latest.x86_64.qcow2 centos9-vm1.qcow2 50G

# 創(chuàng)建cloud-init配置
cat > /tmp/cloud-init.yaml <

	

	驗(yàn)證虛擬機(jī)運(yùn)行

	
# 查看虛擬機(jī)列表
virsh list --all

# 查看虛擬機(jī)詳情
virsh dominfo centos9-vm1

# 查看虛擬機(jī)IP地址
virsh domifaddr centos9-vm1

# 連接虛擬機(jī)控制臺(tái)
virsh console centos9-vm1

# VNC連接（如果配置了VNC）
virt-viewer centos9-vm1


	

	基本生命周期管理

	
# 啟動(dòng)虛擬機(jī)
virsh start centos9-vm1

# 優(yōu)雅關(guān)機(jī)
virsh shutdown centos9-vm1

# 強(qiáng)制關(guān)機(jī)
virsh destroy centos9-vm1

# 重啟
virsh reboot centos9-vm1

# 暫停（掛起到內(nèi)存）
virshsuspendcentos9-vm1

# 恢復(fù)
virsh resume centos9-vm1

# 設(shè)置開(kāi)機(jī)自啟
virsh autostart centos9-vm1

# 刪除虛擬機(jī)（保留磁盤(pán)）
virsh undefine centos9-vm1

# 刪除虛擬機(jī)及磁盤(pán)
virsh undefine centos9-vm1 --remove-all-storage


	

	三、示例代碼和配置

	3.1 完整配置示例

	虛擬機(jī)XML配置模板

	
 

production-vm
auto-generated

 sre-team
 e-commerce

16
16
8

 

 
 
  
 


 

 
  
 
 
 



 hvm
 
 



 
 
 
 
  
 



 
 
 


destroy
restart
restart


 /usr/libexec/qemu-kvm

  
 
  
  
  
  
 

  
 
  
  
  
  
 

  
 
  
  
  
  
  
 

  
 
  
   
  
 
 
  
 

  
 
  
 

  
 
  
  
 

  
 
  /dev/urandom
  
 

  
 
  
 


 

 
 
 
 
 
 
 
 
 




	

	批量創(chuàng)建虛擬機(jī)腳本

	
#!/bin/bash
# batch-create-vm.sh - 批量創(chuàng)建虛擬機(jī)

set-e

# 配置參數(shù)
BASE_IMAGE="/data/templates/centos9-template.qcow2"
VM_DIR="/data/libvirt/images"
NETWORK="br0-network"
CLOUD_INIT_DIR="/tmp/cloud-init"

# 虛擬機(jī)配置列表
declare-A VMS=(
  ["web-server-01"]="409650" # 名稱(chēng)="內(nèi)存MB磁盤(pán)GB"
  ["web-server-02"]="409650"
  ["db-server-01"]="8192100"
  ["cache-server-01"]="409630"
)

# 創(chuàng)建cloud-init目錄
mkdir -p${CLOUD_INIT_DIR}

create_vm() {
 localname=$1
 localmemory=$2
 localvcpus=$3
 localdisk_size=$4

 echo"Creating VM:${name}(Memory:${memory}MB, CPU:${vcpus}, Disk:${disk_size}GB)"

 # 創(chuàng)建磁盤(pán)
  qemu-img create -f qcow2 -F qcow2 -b${BASE_IMAGE}${VM_DIR}/${name}.qcow2${disk_size}G

 # 生成cloud-init配置
  cat >${CLOUD_INIT_DIR}/${name}-cloud.yaml </dev/null | grep -oE'([0-9]{1,3}.){3}[0-9]{1,3}'| head -1)
 echo" ${vm}:${ip:-'Not assigned yet'}"
done


	

	虛擬機(jī)熱遷移腳本

	
#!/bin/bash
# live-migrate.sh - 虛擬機(jī)熱遷移腳本

VM_NAME=$1
DEST_HOST=$2
SHARED_STORAGE="/data/nfs-vm"# 共享存儲(chǔ)路徑

if[[ -z"$VM_NAME"|| -z"$DEST_HOST"]];then
 echo"Usage:$0 "
 exit1
fi

# 檢查虛擬機(jī)狀態(tài)
vm_state=$(virsh domstate"$VM_NAME"2>/dev/null)
if[["$vm_state"!="running"]];then
 echo"Error: VM$VM_NAMEis not running (state:$vm_state)"
 exit1
fi

# 檢查目標(biāo)主機(jī)連通性
if! virsh -c qemu+ssh://${DEST_HOST}/system list >/dev/null 2>&1;then
 echo"Error: Cannot connect to destination host$DEST_HOST"
 exit1
fi

# 檢查共享存儲(chǔ)
disk_path=$(virsh domblklist"$VM_NAME"| grep -E'.qcow2'| awk'{print $2}')
if[[ !"$disk_path"=~ ^${SHARED_STORAGE}]];then
 echo"Error: VM disk is not on shared storage. Live migration requires shared storage."
 echo"Disk path:$disk_path"
 exit1
fi

echo"Starting live migration of$VM_NAMEto$DEST_HOST..."

# 執(zhí)行熱遷移
virsh migrate 
  --live 
  --persistent 
  --undefinesource 
  --verbose 
  --compressed 
  --auto-converge 
 "$VM_NAME"
 "qemu+ssh://${DEST_HOST}/system"

if[[ $? -eq 0 ]];then
 echo"Migration completed successfully"

 # 驗(yàn)證遷移結(jié)果
 echo"Verifying on destination host..."
  virsh -c qemu+ssh://${DEST_HOST}/system dominfo"$VM_NAME"
else
 echo"Migration failed"
 exit1
fi


	

	3.2 實(shí)際應(yīng)用案例

	案例一：電商公司私有云平臺(tái)

	某電商公司年GMV 50億，原有30臺(tái)物理服務(wù)器分散部署各類(lèi)應(yīng)用，存在以下問(wèn)題：

	資源利用率不均，部分服務(wù)器負(fù)載不足10%

	擴(kuò)容周期長(zhǎng)，新業(yè)務(wù)上線需要數(shù)周采購(gòu)部署

	災(zāi)備能力弱，單機(jī)故障影響業(yè)務(wù)可用性

	解決方案：采用KVM構(gòu)建私有云平臺(tái)，配置如下：

	
硬件配置：
- 5臺(tái)Dell R750xa服務(wù)器（雙路Xeon 8380，512GB內(nèi)存，8x 1.92TB NVMe）
- 2臺(tái)存儲(chǔ)服務(wù)器構(gòu)建Ceph集群（24x 10TB HDD + 4x 3.84TB NVMe）
- 2臺(tái)萬(wàn)兆交換機(jī)做網(wǎng)絡(luò)冗余

軟件架構(gòu)：
- 宿主機(jī)：Rocky Linux 9.3 + KVM/QEMU 9.0
- 管理平臺(tái)：Proxmox VE 8.1（提供Web管理界面）
- 存儲(chǔ)：Ceph Pacific（RBD作為虛擬機(jī)磁盤(pán)后端）
- 網(wǎng)絡(luò)：Open vSwitch + VLAN隔離


	

	實(shí)施效果：

	物理服務(wù)器從30臺(tái)減少到5臺(tái)，機(jī)房空間節(jié)省80%

	資源利用率提升到60%，年電費(fèi)節(jié)省約15萬(wàn)

	新虛擬機(jī)創(chuàng)建時(shí)間從2周縮短到5分鐘

	通過(guò)熱遷移實(shí)現(xiàn)物理機(jī)維護(hù)期間零業(yè)務(wù)中斷

	案例二：金融機(jī)構(gòu)開(kāi)發(fā)測(cè)試云

	某銀行科技部門(mén)需要為200+開(kāi)發(fā)人員提供測(cè)試環(huán)境，原有方案是每人分配固定虛擬機(jī)，存在資源浪費(fèi)和環(huán)境不一致問(wèn)題。

	解決方案：構(gòu)建自助式開(kāi)發(fā)測(cè)試云

	
# 虛擬機(jī)模板配置
templates:
-name:dev-centos9-small
 vcpus:2
 memory:4096
 disk:50G
 description:開(kāi)發(fā)測(cè)試小規(guī)格

-name:dev-centos9-medium
 vcpus:4
 memory:8192
 disk:100G
 description:開(kāi)發(fā)測(cè)試中規(guī)格

-name:db-mysql8-template
 vcpus:4
 memory:16384
 disk:200G
 preinstalled:mysql-8.0
 description:MySQL數(shù)據(jù)庫(kù)模板

# 資源配額
quotas:
per_user:
 max_vms:5
 max_vcpus:16
 max_memory:32768
 max_storage:500G

per_project:
 max_vms:50
 max_vcpus:200
 max_memory:512000
 max_storage:5T


	

	配合WebVirtCloud開(kāi)源管理界面，實(shí)現(xiàn)：

	開(kāi)發(fā)人員自助申請(qǐng)、創(chuàng)建、管理虛擬機(jī)

	虛擬機(jī)自動(dòng)過(guò)期回收（默認(rèn)7天，可申請(qǐng)延期）

	快照功能支持環(huán)境保存和快速回滾

	與LDAP集成實(shí)現(xiàn)統(tǒng)一身份認(rèn)證

	案例三：GPU虛擬化機(jī)器學(xué)習(xí)平臺(tái)

	AI團(tuán)隊(duì)需要共享使用GPU資源進(jìn)行模型訓(xùn)練和推理，直接使用物理機(jī)存在資源爭(zhēng)搶問(wèn)題。

	解決方案：基于KVM+vGPU構(gòu)建GPU虛擬化平臺(tái)

	
# 配置NVIDIA vGPU（需要NVIDIA vGPU軟件許可）

# 1. 安裝vGPU管理器
rpm -ivh nvidia-vgpu-kvm-xxx.rpm

# 2. 配置mdev設(shè)備
# 查看支持的vGPU類(lèi)型
ls /sys/class/mdev_bus/000000.0/mdev_supported_types/

# 創(chuàng)建vGPU實(shí)例
echo"xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx"> /sys/class/mdev_bus/000000.0/mdev_supported_types/nvidia-256/create

# 3. 虛擬機(jī)配置GPU直通
cat >> vm-gpu.xml <
 
  

 

EOF


	

	另一種方案是使用SR-IOV直通（適用于NVIDIA A100等支持MIG的GPU）：

	
# 配置MIG模式
nvidia-smi -i 0 -mig 1

# 創(chuàng)建GPU實(shí)例
nvidia-smi mig -cgi 9,9,9,9,9,9,9 -C

# 使用VFIO直通給虛擬機(jī)


	

	四、最佳實(shí)踐和注意事項(xiàng)

	4.1 最佳實(shí)踐

	性能優(yōu)化

	CPU優(yōu)化：

	
# 使用host-passthrough模式透?jìng)鰿PU特性
# XML配置


# CPU綁定（避免NUMA跨節(jié)點(diǎn)訪問(wèn)）
virsh vcpupin vm-name 0 2
virsh vcpupin vm-name 1 3

# 查看NUMA拓?fù)?numactl -H
virsh numatune vm-name


	

	內(nèi)存優(yōu)化：

	
# 啟用大頁(yè)內(nèi)存
# 分配2MB大頁(yè)
echo4096 > /proc/sys/vm/nr_hugepages

# 永久配置
echo"vm.nr_hugepages=4096">> /etc/sysctl.conf

# XML配置使用大頁(yè)

 


# 啟用KSM（相同內(nèi)存頁(yè)合并）
echo1 > /sys/kernel/mm/ksm/run
echo1000 > /sys/kernel/mm/ksm/sleep_millisecs


	

	磁盤(pán)I/O優(yōu)化：

	
# 使用virtio-blk或virtio-scsi
# 配置cache模式
# - none: 直接I/O，適合數(shù)據(jù)庫(kù)（需要Guest OS有回寫(xiě)緩存）
# - writeback: 宿主機(jī)回寫(xiě)緩存（性能好但不安全）
# - writethrough: 寫(xiě)穿透（安全但性能差）

# XML配置

 
 ...


# 啟用TRIM支持（qcow2磁盤(pán)瘦身）
# Guest內(nèi)執(zhí)行
fstrim -av


	

	網(wǎng)絡(luò)優(yōu)化：

	
# 使用vhost-net加速

 
  # 多隊(duì)列


# 啟用多隊(duì)列virtio-net（Guest內(nèi)）
ethtool -L eth0 combined 4

# SR-IOV直通（最高性能）
# 啟用SR-IOV
echo4 > /sys/class/net/eth0/device/sriov_numvfs

# 直通VF給虛擬機(jī)

 
  

 



	

	安全加固

	
# 1. 限制libvirt訪問(wèn)
# 使用UNIX socket認(rèn)證
unix_sock_group ="libvirt"
unix_sock_ro_perms ="0770"
unix_sock_rw_perms ="0770"

# 2. 啟用SELinux/AppArmor
# SELinux配置
semanage boolean -m --on virt_use_fusefs
semanage boolean -m --on virt_use_nfs

# 3. 配置sVirt隔離
# 確保每個(gè)VM有獨(dú)立的SELinux上下文


# 4. 限制虛擬機(jī)資源

 20
 16



 500


# 5. 網(wǎng)絡(luò)隔離
# 使用VLAN或SDN隔離不同租戶(hù)/業(yè)務(wù)

 
 
  
 



	

	高可用配置

	
# 方案一：基于共享存儲(chǔ)的HA
# 所有宿主機(jī)掛載相同NFS/Ceph存儲(chǔ)
# 任意宿主機(jī)故障時(shí)，在其他節(jié)點(diǎn)啟動(dòng)VM

# 監(jiān)控腳本示例
#!/bin/bash
HOSTS="kvm1 kvm2 kvm3"
SHARED_DIR="/data/nfs-vm"

forhostin$HOSTS;do
 if! ssh$host"virsh list">/dev/null 2>&1;then
   echo"Host$hostis down, starting VMs on backup host..."
   # 獲取故障主機(jī)的VM列表并在備用主機(jī)啟動(dòng)
   forxmlin$(ls${SHARED_DIR}/configs/${host}/*.xml);do
      virsh define$xml
      virsh start $(basename$xml.xml)
   done
 fi
done

# 方案二：使用Pacemaker/Corosync構(gòu)建集群
# 安裝集群軟件
dnf install pacemaker corosync pcs fence-agents-all

# 配置集群
pcs cluster setup --name kvm-cluster kvm1 kvm2 kvm3
pcs cluster start --all
pcs clusterenable--all

# 配置虛擬機(jī)資源
pcs resource create vm-webapp ocfVirtualDomain 
 config="/etc/libvirt/qemu/webapp.xml"
 hypervisor="qemu:///system"
 migration_transport="ssh"
 op start timeout="120s"
 op stop timeout="120s"
 op monitor timeout="30s"interval="10s"
 meta allow-migrate="true"


	

	4.2 注意事項(xiàng)

				問(wèn)題類(lèi)型
			

				典型表現(xiàn)
			

				根本原因
			

				解決方案
		

				虛擬機(jī)啟動(dòng)失敗
			

				"cannot access storage file"
			

				存儲(chǔ)權(quán)限或SELinux阻止
			

				chown qemu:qemu 或調(diào)整SELinux
		

				網(wǎng)絡(luò)不通
			

				Guest無(wú)法獲取IP
			

				網(wǎng)橋配置錯(cuò)誤或防火墻規(guī)則
			

				檢查br配置、firewalld/iptables
		

				性能差
			

				I/O延遲高
			

				未使用virtio驅(qū)動(dòng)
			

				安裝virtio驅(qū)動(dòng)，配置cache=none
		

				熱遷移失敗
			

				"unable to connect"
			

				目標(biāo)主機(jī)libvirt未監(jiān)聽(tīng)TCP
			

				啟用listen_tcp，檢查防火墻
		

				CPU利用率虛高
			

				steal time高
			

				vCPU超分過(guò)度
			

				減少vCPU超分比例（建議<3:1）
		

				內(nèi)存不足
			

				OOM Killer殺進(jìn)程
			

				內(nèi)存超分過(guò)度或未配balloon
			

				配置balloon驅(qū)動(dòng)，減少超分
		

				快照失敗
			

				"domain is not active"
			

				內(nèi)部快照需要VM運(yùn)行
			

				使用外部快照或在VM運(yùn)行時(shí)執(zhí)行
		

				Windows藍(lán)屏
			

				WHEA錯(cuò)誤
			

				CPU特性不兼容
			

				使用host-model或指定CPU型號(hào)
		

	磁盤(pán)空間管理

	
# qcow2鏡像會(huì)隨使用增長(zhǎng)，需要定期瘦身

# 方法1：Guest內(nèi)TRIM + 鏡像壓縮
# Guest執(zhí)行
fstrim -av

# 宿主機(jī)壓縮鏡像（需要停機(jī)）
virsh shutdown vm-name
qemu-img convert -O qcow2 -c vm.qcow2 vm-new.qcow2
mv vm-new.qcow2 vm.qcow2
virsh start vm-name

# 方法2：在線瘦身（QEMU 4.0+）
virsh blockresize vm-name vda --size 50G
# Guest內(nèi)擴(kuò)展分區(qū)

# 監(jiān)控磁盤(pán)實(shí)際使用
qemu-img info --output=json vm.qcow2 | jq'.["actual-size"]'


	

	五、故障排查和監(jiān)控

	5.1 故障排查

	虛擬機(jī)無(wú)法啟動(dòng)

	
# 步驟1：查看詳細(xì)錯(cuò)誤信息
virsh start vm-name 2>&1

# 步驟2：檢查libvirt日志
tail -100 /var/log/libvirt/qemu/vm-name.log
journalctl -u libvirtd -f

# 步驟3：驗(yàn)證XML配置
virsh dumpxml vm-name > /tmp/vm.xml
virt-xml-validate /tmp/vm.xml

# 步驟4：檢查存儲(chǔ)和權(quán)限
ls -la /data/libvirt/images/vm-name.qcow2
# 確保屬主是qemu:qemu（RHEL）或libvirt-qemu:kvm（Ubuntu）

# 步驟5：檢查SELinux
ausearch -m avc -ts recent
# 如有SELinux拒絕，執(zhí)行
restorecon -Rv /data/libvirt/images/


	

	網(wǎng)絡(luò)故障排查

	
# 檢查網(wǎng)橋狀態(tài)
ip link show br0
bridge link show

# 檢查虛擬機(jī)網(wǎng)卡
virsh domiflist vm-name

# 檢查T(mén)AP設(shè)備
ip link show | grep tap

# 檢查ARP表
ip neigh show

# 抓包分析
tcpdump -i br0 -n host 192.168.1.100

# 檢查libvirt網(wǎng)絡(luò)
virsh net-info br0-network
virsh net-dhcp-leases br0-network


	

	性能問(wèn)題診斷

	
# CPU相關(guān)
# 查看vCPU與物理CPU映射
virsh vcpuinfo vm-name

# 查看steal time（Guest內(nèi)）
vmstat 1

# 查看CPU調(diào)度延遲
perf kvmstatlive

# 內(nèi)存相關(guān)
# 查看KSM狀態(tài)
cat /sys/kernel/mm/ksm/pages_sharing
cat /sys/kernel/mm/ksm/pages_shared

# 查看balloon狀態(tài)
virsh dommemstat vm-name

# I/O相關(guān)
# 查看塊設(shè)備統(tǒng)計(jì)
virsh domblkstat vm-name vda

# 使用blktrace跟蹤
blktrace -d /dev/sdb -o - | blkparse -i -

# 網(wǎng)絡(luò)相關(guān)
# 查看網(wǎng)絡(luò)統(tǒng)計(jì)
virsh domifstat vm-name vnet0

# 查看vhost-net使用情況
ethtool -S vnet0


	

	5.2 性能監(jiān)控

	virt-top實(shí)時(shí)監(jiān)控

	
# 安裝
dnf install virt-top

# 運(yùn)行
virt-top

# 輸出示例
virt-top 0915 - x86_64 8/8CPU 1200MHz 64304MB
3 domains, 1 active, 1 running, 0 sleeping, 0 paused, 2 inactive D:0 O:0 X:0
CPU: 12.5% Mem: 24576 MB (24576 MB by guests)

 ID S RDRQ WRRQ RXBY TXBY %CPU %MEM  TIME  NAME
  5 R  0 156 91K 12K 8.3 25.0  5:32.61 production-vm


	

	Prometheus + libvirt-exporter監(jiān)控

	
# docker-compose.yml
version:'3'
services:
libvirt-exporter:
 image:alekseifaikin/libvirt-exporter:latest
 volumes:
  -/var/run/libvirt/libvirt-sock:/var/run/libvirt/libvirt-sock:ro
 ports:
  -"9177:9177"
 command:--libvirt.uri="qemu:///system"


	

	關(guān)鍵監(jiān)控指標(biāo)：

	
# Prometheus告警規(guī)則
groups:
-name:kvm
 rules:
  -alert:VMHighCPU
   expr:libvirt_domain_info_cpu_time_seconds_total>90
   for:5m
   labels:
    severity:warning
   annotations:
    summary:"VM CPU使用率過(guò)高"

  -alert:VMMemoryPressure
   expr:libvirt_domain_info_memory_actual_bytes/libvirt_domain_info_memory_maximum_bytes>0.95
   for:5m
   labels:
    severity:warning
   annotations:
    summary:"VM內(nèi)存使用率過(guò)高"

  -alert:VMDiskIOHigh
   expr:rate(libvirt_domain_block_stats_write_bytes_total[5m])>100000000
   for:5m
   labels:
    severity:info
   annotations:
    summary:"VM磁盤(pán)寫(xiě)入速率高"


	

	Grafana儀表板

	
{
"title":"KVM虛擬機(jī)監(jiān)控",
"panels": [
  {
  "title":"VM CPU使用率",
  "type":"graph",
  "targets": [
    {
    "expr":"rate(libvirt_domain_info_cpu_time_seconds_total[1m]) * 100",
    "legendFormat":"{{domain}}"
    }
   ]
  },
  {
  "title":"VM內(nèi)存使用",
  "type":"graph",
  "targets": [
    {
    "expr":"libvirt_domain_info_memory_actual_bytes / 1024 / 1024 / 1024",
    "legendFormat":"{{domain}}"
    }
   ]
  },
  {
  "title":"VM磁盤(pán)IOPS",
  "type":"graph",
  "targets": [
    {
    "expr":"rate(libvirt_domain_block_stats_read_requests_total[1m])",
    "legendFormat":"{{domain}} read"
    },
    {
    "expr":"rate(libvirt_domain_block_stats_write_requests_total[1m])",
    "legendFormat":"{{domain}} write"
    }
   ]
  }
 ]
}


	

	5.3 備份與恢復(fù)

	虛擬機(jī)備份策略

	
#!/bin/bash
# vm-backup.sh - 虛擬機(jī)完整備份腳本

VM_NAME=$1
BACKUP_DIR="/backup/vms/$(date +%Y%m%d)"
mkdir -p${BACKUP_DIR}

# 方法1：關(guān)機(jī)備份（最可靠）
virsh shutdown${VM_NAME}
sleep 30

# 備份磁盤(pán)
cp /data/libvirt/images/${VM_NAME}.qcow2${BACKUP_DIR}/

# 備份配置
virsh dumpxml${VM_NAME}>${BACKUP_DIR}/${VM_NAME}.xml

virsh start${VM_NAME}

# 方法2：在線快照備份
# 創(chuàng)建外部快照
virsh snapshot-create-as${VM_NAME}backup-snap 
 --disk-only 
 --atomic 
 --diskspec vda,snapshot=external,file=${BACKUP_DIR}/${VM_NAME}-snap.qcow2

# 備份原始磁盤(pán)（此時(shí)已變?yōu)橹蛔xbacking file）
cp /data/libvirt/images/${VM_NAME}.qcow2${BACKUP_DIR}/${VM_NAME}-backup.qcow2

# 合并快照（塊提交）
virsh blockcommit${VM_NAME}vda 
 --active 
 --pivot 
 --verbose

# 清理快照文件
rm${BACKUP_DIR}/${VM_NAME}-snap.qcow2


	

	增量備份（使用dirty bitmap）

	
# 啟用臟頁(yè)追蹤（QEMU 4.0+）
virsh qemu-monitor-command${VM_NAME}--pretty 
'{"execute": "block-dirty-bitmap-add", "arguments": {"node": "drive-virtio-disk0", "name": "backup-bitmap"}}'

# 執(zhí)行增量備份
virsh qemu-monitor-command${VM_NAME}--pretty 
'{"execute": "drive-backup", "arguments": {"device": "drive-virtio-disk0", "sync": "incremental", "bitmap": "backup-bitmap", "target": "/backup/vms/vm-incr.qcow2", "format": "qcow2"}}'


	

	恢復(fù)虛擬機(jī)

	
# 從備份恢復(fù)
# 1. 復(fù)制磁盤(pán)鏡像
cp /backup/vms/20250109/vm-name.qcow2 /data/libvirt/images/

# 2. 恢復(fù)配置
virsh define /backup/vms/20250109/vm-name.xml

# 3. 啟動(dòng)虛擬機(jī)
virsh start vm-name

# 快照回滾
# 查看快照列表
virsh snapshot-list vm-name

# 回滾到指定快照
virsh snapshot-revert vm-name snapshot-name

# 刪除快照
virsh snapshot-delete vm-name snapshot-name


	

	六、總結(jié)

	6.1 技術(shù)要點(diǎn)回顧

	KVM作為L(zhǎng)inux內(nèi)核原生的虛擬化技術(shù)，具備高性能、開(kāi)源免費(fèi)、生態(tài)豐富的優(yōu)勢(shì)，是構(gòu)建企業(yè)級(jí)私有云的理想選擇。核心技術(shù)棧包括：

	KVM內(nèi)核模塊提供CPU和內(nèi)存虛擬化

	QEMU提供設(shè)備模擬和虛擬機(jī)管理

	libvirt提供統(tǒng)一的管理API和工具

	virtio提供高性能的半虛擬化I/O

	生產(chǎn)環(huán)境部署要點(diǎn)：

	CPU使用host-passthrough模式最大化性能

	存儲(chǔ)使用virtio-blk/scsi配合cache=none確保數(shù)據(jù)安全

	網(wǎng)絡(luò)使用virtio-net配合vhost-net或SR-IOV獲得接近原生性能

	大頁(yè)內(nèi)存和NUMA綁定用于性能敏感場(chǎng)景

	共享存儲(chǔ)是實(shí)現(xiàn)熱遷移和高可用的前提

	運(yùn)維管理要點(diǎn)：

	制定合理的資源超分比例（CPU 3:1，內(nèi)存 1.5:1為參考值）

	建立完善的備份恢復(fù)機(jī)制

	監(jiān)控關(guān)鍵指標(biāo)，設(shè)置告警閾值

	定期進(jìn)行災(zāi)難恢復(fù)演練

	6.2 進(jìn)階學(xué)習(xí)方向

	容器化管理平臺(tái)

	學(xué)習(xí)Proxmox VE、oVirt等開(kāi)源虛擬化管理平臺(tái)，它們提供了Web界面、用戶(hù)權(quán)限管理、資源配額等企業(yè)級(jí)功能，比直接使用libvirt更適合生產(chǎn)環(huán)境。

	OpenStack私有云

	OpenStack是更大規(guī)模私有云的選擇，提供了計(jì)算（Nova）、網(wǎng)絡(luò)（Neutron）、存儲(chǔ)（Cinder/Swift）、鏡像（Glance）等完整的云服務(wù)組件。學(xué)習(xí)OpenStack可以理解云平臺(tái)的完整架構(gòu)。

	軟件定義網(wǎng)絡(luò)

	深入學(xué)習(xí)Open vSwitch和Linux網(wǎng)絡(luò)虛擬化技術(shù)，掌握VXLAN、GRE等overlay網(wǎng)絡(luò)實(shí)現(xiàn)，理解SDN控制器如何管理虛擬網(wǎng)絡(luò)。

	分布式存儲(chǔ)

	學(xué)習(xí)Ceph分布式存儲(chǔ)系統(tǒng)，掌握RBD塊存儲(chǔ)與KVM的集成，實(shí)現(xiàn)存儲(chǔ)的高可用和彈性擴(kuò)展。

	6.3 參考資料

	KVM官方網(wǎng)站：https://www.linux-kvm.org/

	libvirt官方文檔：https://libvirt.org/docs.html

	QEMU文檔：https://www.qemu.org/docs/master/

	Red Hat虛擬化文檔：https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/9/html/configuring_and_managing_virtualization/

	Proxmox VE：https://pve.proxmox.com/wiki/Main_Page

	oVirt項(xiàng)目：https://www.ovirt.org/documentation/

	附錄

	A. 命令速查表

				操作
			

				命令
		

				列出所有VM
			

				virsh list --all
		

				啟動(dòng)VM
			

				virsh start 
		

				關(guān)閉VM
			

				virsh shutdown 
		

				強(qiáng)制關(guān)機(jī)
			

				virsh destroy 
		

				重啟VM
			

				virsh reboot 
		

				暫停VM
			

				virsh suspend 
		

				恢復(fù)VM
			

				virsh resume 
		

				刪除VM
			

				virsh undefine 
		

				查看VM信息
			

				virsh dominfo 
		

				查看VM配置
			

				virsh dumpxml 
		

				編輯VM配置
			

				virsh edit 
		

				連接控制臺(tái)
			

				virsh console 
		

				查看VNC端口
			

				virsh vncdisplay 
		

				創(chuàng)建快照
			

				virsh snapshot-create-as  
		

				恢復(fù)快照
			

				virsh snapshot-revert  
		

				熱遷移
			

				virsh migrate --live  qemu+ssh://host/system
		

				查看網(wǎng)絡(luò)
			

				virsh net-list --all
		

				查看存儲(chǔ)池
			

				virsh pool-list --all
		

				查看塊設(shè)備
			

				virsh domblklist 
		

				查看網(wǎng)卡
			

				virsh domiflist 
		

				查看IP地址
			

				virsh domifaddr 
		

	B. 配置參數(shù)詳解

	libvirt domain XML核心元素

				元素
			

				說(shuō)明
			

				示例值
		

				
			

				虛擬機(jī)名稱(chēng)
			

				production-vm
		

				
			

				最大內(nèi)存
			

				16
		

				
			

				vCPU數(shù)量
			

				8
		

				
			

				CPU模式
			

				host-passthrough / host-model / custom
		

				
			

				虛擬化類(lèi)型
			

				hvm（全虛擬化）
		

				
			

				磁盤(pán)類(lèi)型
			

				file / block / network
		

				
			

				緩存模式
			

				none / writeback / writethrough
		

				
			

				網(wǎng)絡(luò)類(lèi)型
			

				bridge / network / direct
		

				
			

				圖形類(lèi)型
			

				vnc / spice
		

				
			

				通道設(shè)備
			

				qemu-ga / spice-vdagent
		

	qemu-img常用命令

				操作
			

				命令
		

				創(chuàng)建磁盤(pán)
			

				qemu-img create -f qcow2 disk.qcow2 50G
		

				查看信息
			

				qemu-img info disk.qcow2
		

				格式轉(zhuǎn)換
			

				qemu-img convert -f raw -O qcow2 disk.raw disk.qcow2
		

				壓縮鏡像
			

				qemu-img convert -O qcow2 -c in.qcow2 out.qcow2
		

				調(diào)整大小
			

				qemu-img resize disk.qcow2 +10G
		

				創(chuàng)建快照
			

				qemu-img snapshot -c snap1 disk.qcow2
		

				基于backing創(chuàng)建
			

				qemu-img create -f qcow2 -b base.qcow2 new.qcow2
		

				提交更改
			

				qemu-img commit overlay.qcow2
		

				檢查一致性
			

				qemu-img check disk.qcow2
		

	C. 術(shù)語(yǔ)表

				術(shù)語(yǔ)
			

				英文
			

				說(shuō)明
		

				宿主機(jī)
			

				Host
			

				運(yùn)行虛擬機(jī)的物理服務(wù)器
		

				虛擬機(jī)
			

				Guest/VM
			

				在宿主機(jī)上運(yùn)行的虛擬化實(shí)例
		

				全虛擬化
			

				Full Virtualization
			

				Guest OS無(wú)需修改即可運(yùn)行
		

				半虛擬化
			

				Para-virtualization
			

				Guest使用特殊驅(qū)動(dòng)與Host通信
		

				硬件輔助虛擬化
			

				Hardware-assisted
			

				使用CPU VT-x/AMD-V擴(kuò)展
		

				直通
			

				Passthrough
			

				將物理設(shè)備直接分配給虛擬機(jī)
		

				超分
			

				Overcommit
			

				分配的虛擬資源超過(guò)物理資源
		

				熱遷移
			

				Live Migration
			

				不停機(jī)遷移運(yùn)行中的虛擬機(jī)
		

				快照
			

				Snapshot
			

				保存虛擬機(jī)某一時(shí)刻的狀態(tài)
		

				存儲(chǔ)池
			

				Storage Pool
			

				libvirt管理的存儲(chǔ)資源集合
		

				NUMA
			

				Non-Uniform Memory Access
			

				非一致性?xún)?nèi)存訪問(wèn)架構(gòu)
		

				KSM
			

				Kernel Same-page Merging
			

				內(nèi)核相同頁(yè)合并技術(shù)
		

				大頁(yè)
			

				Huge Pages
			

				使用更大的內(nèi)存頁(yè)減少TLB miss
		

				virtio
			

				Virtual I/O
			

				高性能半虛擬化I/O框架
		

				vhost
			

				Virtual Host
			

				內(nèi)核態(tài)virtio后端加速
		

				SR-IOV
			

				Single Root I/O Virtualization
			

				單根I/O虛擬化技術(shù)