▼

개발자포럼 입니다.

IT 개발자간 정보를 공유하고 논의가 이루어지는 공간입니다.

java executeLargeBatch 처리 할때 시간 지연 현상2

mssqlInsertStatement.addBatch();

count ++;

if(count % 10000 == 0) {

mssqlInsertStatement.executeLargeBatch();

mssqlInsertStatement.clearBatch();

mssqlConnection.commit();

1, 2 > log.debug("batch commit taken = " + count );

}

mssqlInsertStatement.executeLargeBatch();

mssqlInsertStatement.clearBatch();

3> log.debug(" ★ batch insert total = " + count);

1> 2022-01-28 09:24:22 [main] [DEBUG] BatchForBilldata(writeWithCompileQueryInsert:351) -> batch commit taken = 340000

2> 2022-01-28 09:24:37 [main] [DEBUG] BatchForBilldata(writeWithCompileQueryInsert:351) -> batch commit taken = 350000

3> 2022-01-28 09:27:29 [main] [DEBUG] BatchForBilldata(writeWithCompileQueryInsert:360) -> ★ batch insert total = 357755

자바로 batch 처리 중인데 1번과 2번 사이 시간은 거의 큰 차이가 없는데 resultset.next()를 빠져 나오면서 2분 정도 딜레이가 생기는데

원인을 모르겠어요.

큰 시간은 아닌데 30만건씩 전체 800만건을 돌려야 해서 속도가 중요한 부분이라 궁금합니다.

진로나라

rs.next() 면 Heap이나 N/W 확률이 높긴 한데 추정으로 접근하면 문제를 해결하기 더 어려워집니다.

지연구간 stacktrace 를 확인하는게 제일 중요하니 scouter 같은 오픈소스도구를 쓰거나 jstack으로 확인 해 볼 것을 권합니다.

2022-01-28 점아이콘

감사합니다

2022-01-29 점아이콘


	△ 이전글▽ 다음글	-목록보기