TIL

Pod Quality of Service (QoS) Classes

• 공식 문서 - Pod Quality of Service Classes
• K8s가 Pod마다 QoS 클래스를 자동 부여하는 메커니즘 — 기준은 그 Pod 안 컨테이너들의 request·limit 조합
• 용도 — 노드 리소스가 부족할 때([[node-pressure-eviction]]) 어떤 Pod을 먼저 evict할지 결정

QoS 클래스 종류

• 세 가지 — Guaranteed / Burstable / BestEffort. Pod 생성 시점에 결정됨
• evict 순서: BestEffort → Burstable → Guaranteed — 리소스 압박이 원인일 땐 request를 초과한 Pod만 evict 후보

QoS	판정 기준	evict 순서
Guaranteed	모든 컨테이너가 CPU·Memory 둘 다 request·limit를 갖고, 각각 request = limit (전부 > 0)	마지막 (가장 안전)
Burstable	Guaranteed는 아니지만, 최소 1개 컨테이너(또는 Pod-level)에 CPU/Memory request·limit 중 하나라도 있음	중간
BestEffort	어떤 컨테이너에도 CPU·Memory request·limit가 하나도 없음	가장 먼저

• Guaranteed — limit을 초과하거나, 선점할 더 낮은 우선순위 Pod이 없을 때까지는 kill되지 않음. static CPU 정책으로 전용 CPU 확보 가능
• Burstable — limit이 없는 컨테이너는 기본값이 노드 capacity로 잡혀 → 여유가 있으면 노드 용량까지 burst 가능
• BestEffort — 다른 QoS가 점유하지 않은 잉여 리소스만 사용 (예: 16코어 중 Guaranteed가 4코어 점유 → 남은 12코어 시도 가능)
• Pod-level resources([[manage-resources]]의 PodLevelResources) 사용 시 — Pod 수준 CPU·Memory가 request=limit이면 Guaranteed 판정
• CPU·Memory가 아닌 다른 리소스(extended 등)만 요청한 컨테이너는 여전히 BestEffort로 분류될 수 있음

Memory QoS (cgroup v2 — feature gate MemoryQoS)

• cgroup v2의 memory controller로 메모리 throttling·보호를 관리하는 별도 opt-in 기능
• Pod의 QoS 클래스를 보고 어떤 cgroup 설정을 적용할지 결정 — 단, 이 기능을 꺼도 QoS 분류 자체는 그대로

Memory throttling (memory.high)

• Burstable Pod에 대해 — hard limit(memory.max)에 닿기 전에 미리 할당을 조절하도록 kubelet이 memory.high를 설정
• 계산식 — memory.high = requests + memoryThrottlingFactor * (limits - requests) (memoryThrottlingFactor 기본 0.9)
  • 예: request 256Mi, limit 1Gi → memory.high ≈ 947Mi
  • Burstable인데 limit이 없으면 → limit 자리에 노드 allocatable 메모리를 사용
• Guaranteed·BestEffort는 memory.high 미설정 — request=limit이거나, request·limit 자체가 없어서

Memory reservation (memoryReservationPolicy)

• kubelet 설정 필드로 memory.min/memory.low 적용 방식 제어

정책	동작
None (기본)	memory.min·memory.low 미설정 — 커널이 메모리를 hard-lock 하지 않음
TieredReservation	QoS별 차등 보호 (아래)

• TieredReservation일 때 QoS별 설정
  • Guaranteed — memory.min = memory request. 커널이 어떤 경우에도 회수 안 함
  • Burstable — memory.low = memory request. 우선 보존하되 극심한 압박 시 회수 가능
  • BestEffort — 보호 없음

시스템 요구사항

• Linux + cgroup v2 필수. 커널 5.9+ 권장 — 구버전은 memory.high throttling이 알려진 livelock 버그를 유발할 수 있음
• 구버전 커널에서 MemoryQoS를 켜면 kubelet이 시작 시 경고 로그를 남김

QoS와 무관한 동작

• limit 초과 컨테이너 — kubelet이 그 컨테이너만 kill·restart. 같은 Pod의 다른 컨테이너엔 영향 없음
• request 초과 + 노드 리소스 압박 — 그 Pod이 evict 후보가 됨. evict되면 Pod의 모든 컨테이너가 종료되고, 보통 다른 노드에 교체 Pod 생성
• Pod의 request·limit = 구성 컨테이너들의 request·limit 합
• 선점(preemption)은 QoS를 고려하지 않음 — kube-scheduler가 자원 부족으로 Pod을 선점할 때 QoS 클래스와 무관. (evict 순서와는 별개의 메커니즘)
• QoS는 Pod 생성 시 결정되고 생애 동안 불변 — in-place resize로 QoS 클래스가 바뀌는 변경은 admission에서 거부됨