TIL

스프링 배치 핵심 개념

Job과 Step

Job: 배치 처리의 가장 큰 단위

• Job이란 하나의 완전한 배치 처리를 위미한다.
  • ex) ‘일일 매출 집계’, ‘휴먼 회원 정리’ 등

Step: Job을 구성하는 실행 단위

• Job은 하나 이상의 Step으로 구성된다.
  • 각 Step이 순차적으로 실행되어 Job을 성공시킨다.
• ‘일일 매출 집계’ Job의 Step 구성 예제
  • 매출 집계 Step
    • 전일 주문 데이터 read
    • 결제 완료 건들 필터링 process
    • 상품별/카테고리별 집계 및 저장 (write)
  • 알림 발송 Step
    • 집계 요약 정보를 생성해 관리자에게 전달
  • 캐시 갱신 Step
    • 집계 데이터로 캐시 정보 업데이트

Spring batch 해부: 제공과 제어의 두 영역

• Spring Batch를 바라볼 때 전체를 크게 다음 두 가지로 나눠 바라보면 좋다.
  • Spring Batch가 제공하는 영역
  • 개발자가 제어하는 영역

Spring Batch가 제공하는 영역

• Job과 Step
• JobLauncher
  • 배치 작업의 시작점
  • Job을 실행하고 필요한 파라미터를 전달한다.
• JobRepository
  • 배치 처리의 모든 메타데이터를 관리하는 핵심 저장소
  • Job과 Step의 실행 정보를 기록
  • 저장된 데이터는 모니터링 및 재실행에 활용된다.
• ExecutionContext
  • Job/Step 실행의 상태 정보를 key-value 형태로 담는 객체
  • Job - Step 간 데이터 공유에 활용
  • Job 재시작 시 상태 복원에 사용된다.
• 데이터 처리 컴포넌트 구현체
  • ItemReader 구현체 - 다양한 데이터 소스로부터 데이터 읽기를 제공
  • ItemWriter 구현체 - 다양한 구현체로 처리된 데이터를 저장한다.

개발자가 제어하는 영역

• Job/Step 구성
  • 개발자는 실제 Job과 Step을 @Configuration으로 구성해 실행 흐름을 정의한다.
  • Spring DI를 활용해 각 데이터 처리 컴포넌트를 조합해 배치 플로우를 완성한다.

@Configuration
class BatchConfig(
    private val jobRepository: JobRepository,
    private val transactionManager: PlatformTransactionManager
) {

    @Bean
    fun dataTerminationJob(terminateStep: Step): Job =
        JobBuilder("dataTerminationJob", jobRepository)
            .start(terminateStep)
            .build()

    @Bean
    fun terminateStep(
        itemReader: ItemReader<String>,
        itemWriter: ItemWriter<String>
    ): Step =
        StepBuilder("terminateStep", jobRepository)
            .chunk<String, String>(10, transactionManager)
            .reader(itemReader)
            .writer(itemWriter)
            .build()

    @Bean
    fun itemReader(): ItemReader<String> {
        // ItemReader 구현체 반환
        return ListItemReader(listOf("a", "b", "c")) // 예시
    }

    @Bean
    fun itemWriter(): ItemWriter<String> {
        // ItemWriter 구현체 반환
        return ItemWriter { items -> items.forEach { println("write: $it") } }
    }
}

• 데이터 처리 컴포넌트 활용
  • Spring Batch가 ItemReader/ItemWriter 등의 컴포넌트 구현체를 제공하긴 하지만 세부 로직은 개발자가 직접 지정해야 한다.
  • ex) SQL 쿼리 조건, CSV 각 컬럼과 객체 필드 간 매핑 등
• 단순 작업 처리
  • 모든 배치가 read-process-write로 구성되진 않는다.
  • 파일 복사, 정리, 알림 발송 같은 작업도 필요하다.
  • 이러한 구현은 개발자의 몫이다.