TIL

8.2 주키퍼 의존성이 있는 카프카 롤링 업그레이드

• 카프카 버전이 변경되면 명령어 옵션이 변경되거나 삭제되는 경우가 있으므로 스크립트 또는 코드의 명령어들이 잘 동작하는지 반드시 확인해야 한다.

8.2.1 최신 버전의 카프카 다운로드와 설정

카프카 새 버전 다운로드

• 카프카 다운로드는 모든 브로커에서 진행해야 한다.
• 새 버전 다운로드 후 /usr/local 경로로 이동하여 ll 명령어를 통해 현재 디렉토리 상태를 확인하면 다음과 같다.
  • 여기선 2.1 → 2.6 업그레이드한다고 가정

lrwxrwxrwx 1 root root 27 1월 01 00:08 kafka -> /usr/local/kafka_2.12-2.1.0
drwxr-xr-x 7 root root 101 1월 01 00:08 kafka_2.12-2.1.0
drwxr-xr-x 8 root root 116 1월 01 00:03 kafka_2.12-2.6.0

• 아직 kafka 디렉터리는 kafka_2.12-2.1.0로 링크가 걸려있지만 이후 2.6 버전으로 업그레이드 시 링크만 2.6으로 변경하면 된다.

카프카 설정 파일 복사

• 2.1 버전과 2.6 버전의 카프카 설정이 일치해야 하므로 설정 파일 경로를 복사해야 한다.

sudo cp kafka_2.12-2.1.0/config/server.properties kafka_2.12-2.6.0/config/server/properteis

버전 업그레이드 준비

• vi 명령어를 이용해 kafka_2.12-2.6.0/config/server.properties 설정 파일에 다음 두 항목을 추가한다.

inter.broker.protocol.version=2.1
log.message.format.version=2.1

• 이는 2.6 버전 카프카가 실행되어도 다른 2.1 버전 브로커들과의 통신이 가능하게 하는 설정이다.
  • inter.broker.protocol.version 브로커 간의 내부 통신을 2.1 버전 기반으로 설정
  • log.message.format.version 메시지 포밋을 2.1로 유지

8.2.2 브로커 버전 업그레이드

• 브로커 버전 업그레이드는 한 대씩 순차적으로 진행한다.
  • 카프카가 설치된 디렉토리로 이동한 후 systemctl 명령어로 카르카를 종료한다.
    • sudo systemctl stop kafka-server
  • 한 브로커가 종료되면 종료된 브로커가 갖고 있던 파티션 리더들이 다른 브로커로 변경된다.
  • 카프카 클라이언트 내부적으로 재시도 로직이 있기에 모든 클라이언트는 변경된 브로커를 바라보게 된다.
• 카프카 종료 후 kafka 심볼릭 링크를 2.6 버전으로 변경한다.

sudo rm -rf kafka
sudo ln -sf kafka_2.12-2.6.0 kafka

• 심볼릭 링크 변경 후 카프카를 실행한다.

sudo systemctl start kafka-server

• 다른 브로커들도 차례대로 업그레이드를 진행하면 된다.

8.2.3 브로커 설정 변경

• 업그레이드는 완료했지만 앞선 브로커 설정을 통해 2.1 버전으로 통신하도록 설정된 상태이다.
• 2.6 버전으로 통신할 수 있도록 모든 브로커에 접속한 뒤 아래 설정들을 제거한다.
  • sudo vi /usr/local/kafka/config/server.properties

inter.broker.protocol.version=2.1
log.message.format.version=2.1

• 설정 변경 후 브로커를 재시작해야하므로 한 대씩 차례대로 재시작하면 된다.

sudo systemctl restart kafka-server

• 이처럼 롤링 업그레이드를 통해 카프카 서비스를 중단하지 않고 버전 업그레이드를 수행할 수 있다.

8.2.4 업그레이드 작업 시 주의사항

• 비교적 수월하게 업그레이드 가능하지만 운영 환경에선 예상치 못한 문제를 맞닥뜨릴 수도 있다.
  • 따라서 전에 미리 운영 환경과 동일한 버전으로 개발 환경을 구성해 업그레이드를 수행해보는 것이 좋다.
• 작업 시간과 관련해서 주의할 점도 존재한다.
  • 카프카 사용량이 적은 시간대를 골라 업그레이드를 진행할 것을 권장한다.
• 프로듀서의 ack=1 옵션을 사용하는 경우 카프카의 롤링 재시작으로 메시지 극히 일부가 유실될 수도 있다.