TIL

6.1 컨슈머 오프셋 관리

• 컨슈머 동작 중 가장 핵심은 바로 오프셋 관리이다.
  • 컨슈머가 메시지를 어디까지 가져왔는지 표시하는 것이 매우 중요
  • 컨슈머에 문제가 생겨 다른 컨슈머가 대체하는 경우 기존 컨슈머의 마지막 메시지 위치부터 메시지를 가져올 수 있어야 빠른 복구가 가능해진다.
• 컨슈머들은 지정된 토픽 메시지를 읽고 오프셋 정보를 __consumer_offsets에 기록한다.
  • 이 때 컨슈머 그룹은 컨슈머 그룹, 토픽, 파티션 등 내용을 통합해 기록한다.
• __consumer_offsets 토픽은 다음 파티션 수와 리플리케이션 팩터 수를 갖고 있다.
  • offsets.topic.num.partitions: 기본값 50
  • offsets.topic.replication.factor: 기본값 3
  • 보통 기본값만 사용해도 충분하다.