Proxmox에서 멀티소켓 시스템의 CPU 부하 분산과 영향 분석

Proxmox에서 멀티소켓 시스템의 CPU 부하 분산과 영향 분석

Proxmox는 KVM 기반의 가상화 환경으로, NUMA (Non-Uniform Memory Access) 아키텍처를 지원하는 멀티소켓 시스템에서도 효율적인 자원 할당을 할 수 있도록 설계되어 있다. 하지만 하나의 VM이 갑자기 100% CPU를 사용하면, 다른 VM들에게 영향을 미칠 수 있는 여러 가지 요소가 존재한다. 이번 분석에서는 멀티소켓 환경에서 VM 간 CPU 부하 분배와 그 영향을 심층적으로 살펴보겠다.

---

1. Proxmox에서 멀티소켓 CPU 할당 방식

1.1 멀티소켓 NUMA 환경에서 코어 할당

멀티소켓 시스템에서는 각 CPU 소켓이 개별적인 메모리 컨트롤러와 PCIe 레인을 포함한 NUMA 노드로 작동한다. 이를 고려하지 않고 가상 머신(VM) 할당을 하면 NUMA 오버헤드가 발생할 가능성이 크다.

Proxmox의 CPU 할당 방식은 크게 두 가지로 나뉜다.

1. Pinned CPU Allocation (고정된 CPU 할당, CPU Affinity 사용)
   • 특정 VM이 특정 물리 CPU 코어에 바인딩됨.
   • NUMA를 고려한 코어 할당이 가능하여 성능이 예측 가능함.
   • 단점: 하나의 VM이 특정 코어를 독점할 경우, 다른 VM이 사용할 수 있는 리소스가 줄어듦.
2. Dynamic CPU Scheduling (동적 CPU 스케줄링, 기본값)
   • VM이 여러 코어를 공유하며 필요에 따라 CPU를 스케줄링함.
   • CPU 사용량이 적을 때는 리소스가 유연하게 공유됨.
   • 단점: 하나의 VM이 과부하 상태에 도달하면, 다른 VM의 CPU 대기 시간이 증가할 가능성이 있음.

---

2. 특정 VM이 100% CPU를 사용할 경우 다른 VM에 미치는 영향

VM이 CPU를 100% 사용한다고 해서 무조건 다른 VM의 성능이 급격히 저하되는 것은 아니다. 하지만 다음과 같은 요소들이 영향을 미칠 가능성이 크다.

2.1 CPU 스케줄러의 영향

Proxmox는 KVM과 Linux 커널을 기반으로 하기 때문에 CFS(Completely Fair Scheduler) 또는 rt (Real-Time) 스케줄러를 사용하여 CPU 시간을 조정한다.

• CFS 사용 시:
  • 모든 프로세스(=VM)는 공평하게 CPU 시간을 배분받으려고 하므로, CPU 100% 사용 중인 VM이 다른 VM의 CPU 시간을 갉아먹을 가능성이 있음.
  • Proxmox의 cpu.shares 값이 기본값(1024)로 설정되어 있다면, VM마다 균등하게 CPU 자원을 가져가지만, CPU 100%를 쓰는 VM이 우선적으로 CPU를 점유할 수도 있음.
• Real-Time (rt) 스케줄러 사용 시:
  • vcpupin을 설정하면 특정 코어를 특정 VM에 바인딩할 수 있어, CPU 100%를 사용하는 VM이 다른 VM에 미치는 영향을 최소화할 수 있음.

2.2 CPU 스레드 충돌 및 캐시 오염(Cache Contention)

CPU가 100% 사용되면, 다음과 같은 성능 저하 요인이 발생할 수 있다.

1. L1/L2/L3 캐시 오염(Cache Contention)
   • 고부하 상태의 VM이 CPU 캐시를 과도하게 점유하면, 다른 VM이 캐시 미스를 경험할 확률이 높아지고 성능이 저하됨.
   • 특히 멀티소켓 시스템에서는 NUMA 노드 간의 캐시 이동 비용이 증가하여 성능이 더 떨어질 수 있음.
2. Hyper-threading(HT) 충돌
   • Intel이나 AMD CPU에서 Hyper-threading을 사용하는 경우, 하나의 물리적 코어가 두 개의 논리적 코어로 동작한다.
   • CPU 100% 사용 VM이 한쪽 논리 코어를 독점하면, 다른 VM의 스레드가 같은 물리적 코어에서 실행될 때 성능 저하가 발생할 수 있음.

2.3 NUMA 오버헤드 및 메모리 대역폭 경합

• Proxmox에서 NUMA를 활성화하지 않고 모든 VM이 여러 NUMA 노드에 걸쳐 실행되면, VM의 프로세스가 원격 NUMA 노드의 메모리에 접근하게 되고 이는 심각한 성능 저하를 초래할 수 있음.
• numactl을 이용하여 특정 NUMA 노드에 VM을 고정하면 이러한 문제를 줄일 수 있음.

---

3. 해결 방안 및 최적화 방법

3.1 CPU Affinity 및 vCPU Pinning 활용

• 특정 VM이 CPU를 100% 사용할 가능성이 있는 경우, vcpupin을 사용하여 특정 NUMA 노드의 코어에 바인딩하는 것이 좋음.
• 예를 들어, 8개의 VM이 각각 균등하게 CPU를 사용하는 환경에서 특정 VM이 높은 CPU 부하를 유발할 가능성이 있다면, 해당 VM을 별도의 코어에 고정하는 것이 바람직함.

virsh vcpupin VM_NAME 0 4

이렇게 하면 해당 VM은 4번 코어에서만 실행됨.

3.2 cgroups 및 CPU shares 조정

• Proxmox는 기본적으로 cgroups를 통해 CPU 할당을 조정할 수 있다.
• cpu.shares 값을 조정하여 특정 VM의 CPU 사용량을 제한하면, 다른 VM의 성능 저하를 방지할 수 있음.

qm set 100 --cpuunits 500

이렇게 설정하면 해당 VM(100번)이 다른 VM보다 낮은 우선순위로 CPU를 할당받음.

3.3 NUMA 최적화

• numactl을 이용하여 특정 NUMA 노드에서만 실행되도록 설정하면 메모리 대역폭 경합을 줄일 수 있음.
• /sys/devices/system/node/nodeX 디렉토리를 확인하여 NUMA 노드별 사용량을 모니터링할 수 있음.

numactl --cpunodebind=0 --membind=0 qemu-system-x86_64 -enable-kvm ...

이렇게 하면 VM이 NUMA 노드 0의 CPU와 메모리만 사용하도록 강제됨.

---

4. 결론

하나의 VM이 100% CPU를 사용할 경우, 다른 VM에도 성능 저하가 발생할 가능성이 있다. 하지만 이러한 영향은 CPU 스케줄링, NUMA 구조, CPU 캐시 활용 방식, Hyper-threading 사용 여부 등에 따라 다르게 나타난다.

✅ 성능 저하를 방지하기 위한 핵심 최적화 방법:

1. CPU Affinity 및 vCPU Pinning 사용 → 특정 VM이 특정 코어에서만 실행되도록 설정.
2. cgroups 및 CPU shares 조정 → CPU 자원을 동적으로 할당하여 특정 VM의 독점 방지.
3. NUMA 바인딩 활용 → NUMA 오버헤드를 줄이고 메모리 대역폭 경합을 방지.
4. Hyper-threading 고려 → 중요한 VM이 HT에 영향을 받지 않도록 설정.

결국 적절한 CPU 및 메모리 리소스 분배를 수행하면, CPU 100% 사용 VM이 다른 VM 성능에 미치는 영향을 최소화할 수 있다.