TIL

Job과 메타데이터 저장소

Spring Batch의 메타데이터 저장소

• 배치 작업이 견고해지려면 다음 작업들이 필요하다.
  • 어떤 작업이 실행되었는지 추적할 수 있어야 한다.
  • 해당 작업의 진행에 관한 상태를 저장할 수 있어야 한다.
  • 실패 작업을 실패 지점부터 재시작할 수 있어야 한다.
• Spring Batch는 배치 실행에 관한 메타데이터를 저장한다.
  • 작업의 실행 상태
  • 처리 항목 수
  • 실패 지점 등

Spring Batch 핵심 도메인

JobInstance

• JobInstance는 Job의 논리적 실행 단위를 의미한다.
• 동일한 Job을 실행하더라도 처리하는 데이터가 다르면 별개의 JobInstance다.
  • ex) 2024년 1월 매출 정산과 2월 매출 정산은 다른 JobInstance다.
• Spring Batch는 JobParameters를 통해 JobInstance를 구분한다.

JobParameters

• JobParameters는 동일한 Job을 서로 다른 JobInstance로 구분하는 핵심 요소다
• Job + JobParameters = JobInstance

JobExecution

• JobExecution은 JobInstance의 실제 실행 시도를 뜻한다.
  • 같은 JobInstance(ex. 4월 정산 배치)라도 여러 번 실행될 수 있다.
• JobExecution에는 다음 정보들이 포함된다.
  • 현재 상태 (COMPLETED,FAILED,STOPPED등)
  • 시작 시간
  • 종료 시간
  • 종료 코드
  • 실패 원인

BatchStatus

• COMPLETED: 배치 작업 완료
• STARTING: 배치 작업이 실행되기 직전
• STARTED: 배치 작업이 실행 중
• STOPPING: 배치 작업이 중지 요청을 받아 중지 진행 중
• STOPPED: 배치 작업이 요청에 의해 중지된 상태
• FAILED: 배치 작업이 실행 중 오류로 실패
• ABANDONED: 배치 작업이 비정상 종료되어 재시작할 수 없는 상태
• UNKNOWN: 배치 작업의 상태를 확인할 수 없는 불확실한 상태

JobInstance 재실행 제한

• Spring Batch는 한 번 완료된 JobInstance는 재실행할 수 없도록 제한한다.
  • 동일한 JobParameters로 성공적으로 완료된 Job을 다시 실행하면 예외가 발생한다.
  • 동일한 작업이 중복 실행되어 발생할 수 있는 부작용을 방지하기 위한 안전장치

재실행 검사 메커니즘

• Spring Batch는 Job 실행 시 해당 JobInstance가 과거에 성공적으로 완료된 적이 있는지 검사한다.
  • JobInstance의 JobExecution 중 BatchStatus가 COMPLETED인 것이 존재하는지 확인
• COMPLETED 상태의 JobExecution이 존재하면 JobInstanceAlreadyCompleteException을 발생시킨다.
• COMPLETED 상태의 JobExecution이 없는 경우에는 해당 JobInstance를 다시 실행할 수 있다.
  • FAILED 상태로 종료된 JobInstance는 재실행 가능하다.

메타데이터 테이블 초기화 설정

• 다음 설정은 애플리케이션 실행 시마다 메타데이터 테이블을 초기화한다.

spring:
  sql:
    init:
      mode: always
      schema-locations: classpath:org/springframework/batch/core/schema-drop-postgresql.sql

• 이 설정이 적용되면 매번 실행할 때마다 메타데이터 테이블이 초기화되어 이전 실행 이력이 사라진다.
  • Spring Batch가 이전 실행을 기억하지 못하므로 동일한 파라미터로 여러 번 실행이 가능해진다.
• 운영 환경에서는 이 설정을 사용하면 안 된다.

JobParametersIncrementer

• 동일 Job을 여러 번 실행할 수 있게 하는 특수 컴포넌트
• 입력으로 JobParameters를 받아 약간 변형된 새로운 JobParameters를 반환한다.
  • 때문에 다른 JobInstance로 인식

public interface JobParametersIncrementer {  
   JobParameters getNext(@Nullable JobParameters parameters);  
}

• RunIdIncrementer
  • JobParametersIncrementer의 대표적인 구현체
  • run.id라는 이름의 파라미터 값을 증가시키며 파라미터를 변형시킨다.

@Bean
public Job brutalizedSystemJob() {
    return new JobBuilder("brutalizedSystemJob", jobRepository)
            .incrementer(new RunIdIncrementer())
            .start(brutalizedSystemStep())
            .build();
}

JobParameter의 identifying 속성

• JobParameters는 단순한 데이터 전달체가 아니라 JobInstance를 식별하는 핵심 키로 작동하지만 모든 파라미터가 식별 용도로 사용되는 것은 아니다.
• identifying 속성이 해당 파라미터가 JobInstance 식별에 사용되는지 여부를 결정한다.

{'chaos':'{value=true, type=class java.lang.Boolean, identifying=true}',
 'run.id':'{value=2, type=class java.lang.Long, identifying=true}'}

• 기본적으로 모든 JobParameter는 identifying=true로 설정된다.

• identifying=false가 필요한 경우
  • 파라미터가 실행마다 달라져도 같은 JobInstance로 취급해야 할 경우
  • 작업의 논리적 정체성을 바꾸지 않는 파라미터들에 적용
    • 로깅 수준 제어: verbose=true
    • 성능 튜닝 변수: chunk.size=1000
    • 출력 경로 지정: output.path=/tmp/batch/report
• 커맨드 라인에서 설정하는 방법

./gradlew bootRun --args='--spring.batch.job.name=brutalizedSystemJob chaos=true,java.lang.Boolean verbose=true,java.lang.String,false'

• verbose=true,java.lang.String,false에서 마지막 false가 identifying 속성이다.

• 주의사항

  • 핵심 데이터 식별자를 identifying=false로 설정하면 같은 JobInstance로 인식되어 재실행이 불가능해진다.
  • 단순 옵션을 identifying=true로 유지하면 불필요하게 중복 실행이 가능해진다.

restartable 설정

• Spring Batch의 Job은 기본적으로 실패한 경우 재시작이 가능하다.
• 비즈니스적인 이유로 작업이 한 번 실패하면 다시는 실행되지 않도록 해야 할 수도 있다.
• preventRestart()
  • JobBuilder의 메서드로, 설정된 Job이 재시작 불가능하도록 만든다.
  • Job이 실패한 후 다시 실행하려고 하면 JobRestartException을 발생시킨다.

@Bean
public Job brutalizedSystemJob() {
    return new JobBuilder("brutalizedSystemJob", jobRepository)
            .start(brutalizedSystemStep())
            .preventRestart()
            .build();
}

• 주의사항
  • preventRestart() 설정이 적용된 Job은 어떤 이유로든 실패하면 같은 파라미터로는 다시 실행할 수 없다.
  • RunIdIncrementer와 함께 사용 시 preventRestart() 설정이 의미가 없어진다.
    • RunIdIncrementer는 매번 다른 run.id 값을 생성하여 새로운 JobInstance를 만든다.
    • “실패한 작업의 재시작”이 아닌 “새로운 작업의 시작”으로 인식되기 때문