search

Multithread Job구현시 이슈사항

hashtag
Caused by: java.lang.RuntimeException: Driver com.mysql.cj.jdbc.Driver claims to not accept jdbcUrl,

  • as-is

    spring:
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://localhost:3306/spring_batch
    username: spring
    password: Springtest2021!

hikari설정을 하지 않은채 datasource설정을 하고 있었다. 그래서 다음과 같이 변경해 주었다.

  • to-be

    spring:
  datasource:
    hikari:
      driver-class-name: com.mysql.cj.jdbc.Driver
      jdbc-url: jdbc:mysql://localhost:3306/spring_batch
      username: spring
      password: Springtest2021!

여기서 추가로 주의해줘야할 부분이 있다.

spring.datasource.hikari.jdbc-url인데 spring.datasource.hikari.url로 설정하게 되면 다음과 같은 오류가 발생하면서 실패한다.

기억보단 기록을 - Spring Boot & HikariCP Datasource 연동하기arrow-up-right를 참고해보면 datasource.url과 datasource.jdbc-url의 차이에 대해 설명해주고 있다.

  • 자동 설정

    • spring.datasource.url이 모든 Datasource의 url이 된다.

  • 수동 설정 (Java Config)

    • spring.datasource.jdbc-url 로 해야 한다.

    • 이때 수동 설정없이 jdbc-url로 설정하면, hirari.url로 설정하는 것과 동일한 오류 발생하므로 주의해야한다.

  • spring.datasource.hikari : 상황에 따라 계속해서 application.yml을 수정할 수 없으므로, hikari 설정을 별도로 하면 된다.

즉, HikariCP를 사용할경우 spring.datasource로 값을 설정하기 보다는 spring.datasource.hikari로 하시면 수동/자동 구분없이, 오해없이 설정할 수 있다.

hashtag
Transaction already active

위 오류와 같이 Transaction 오류가 발생하는 경우가 있었다. 오류의 시작 지점으로 가보니

query에 오류가 있어 1번째 threadPool에서 실패를 하여 transaction rollback을 시작했는데 뒤이어서 thread 2~4가 transaction rollback을 하다 보니, 해당 오류가 발생하는 것이었다.

  • transaction-4

  • transaction-3

ItemWriter와 ItemReader의 Datasource설정을 따로 하여, 읽어올떄는 setReadOnly로 설정하여 해결해보고 추가로 내용 정리할 예정이다.

hashtag
multi thread 수행 완료 후 batch job 종료되지 않는 문제

https://multifrontgarden.tistory.com/281arrow-up-right에 정리가 잘되어있어 참고하여 해결하였다.

hashtag
JVM이 종료되지 않는 이유

ThreadPoolTaskExecutor는 ThreadPoolExecutor를 활용해 병렬수행이 가능하도록 제공한다. ThreadPoolExecutor는 작업이 완료되면 명시적으로 shutdown() 메서드를 호출해 스레드를 종료시켜주고 있다.

jvm은 자식 스레드들이 살아있으면 종료되지 않는데, spring batch에서 shutdown()이 호출되지 않고 있어 종료되지 않는 것이다.

hashtag
Step에서 TaskExecutor 사용하는 경우

TaskExecutor를 step에서 설정하여 청크 단위로 병렬 처리를 하는 경우, TaskExecutor에는 shutdown() 메서드가 없는 인터페이스를 호출하기 때문에, shutdown() 메서드를 호출할 수 없다.

다음과 같이 main() 메서드를 작성하여 job종료시 jvm을 종료시킬 수 있다.

main thread가 종료되면, jvm을 강제로 종료하게 되며, main thread가 종료됐다는 것은 자식 thread들이 모두 종료됐다는 것을 의미하므로 모든 task가 완료된것을 보장할 수 있다.

https://spring.io/guides/gs/batch-processing/arrow-up-right 공식 가이드문서에서도 위 방법을 가이드해주고 있다.

해당 설정을 한 후 수행해보면 정상적으로 바로 종료되는 것을 확인할 수 있다.

hashtag
ThreadPoolTaskExecutor 설정하기

allowCoreThreadTimeOut는 keppAliveSeconds로 설정한 시간이 지나면, core thread도 pool에서 정리되도록 설정하는 것이다. 특정시간이 지나 core pool에 남아있는 thread도 없게되면 종료된다.

위 설정대로 설정한 후 실행해보면 정확히 Job이 수행 완료된 후 30초 후에 종료되는 것을 볼 수 있다.

PreviousSpring Batch ScalingNextSpring test

Last updated