실운영과 유사한 패턴을 위해 템플릿 조합으로 생성되었습니다.
게시판별 데이터량은 균등 분포가 아니라 상위 몇 개 게시판에 더 집중되도록 설계했습니다.
대량 생성 중 예외가 발생하면 실패 시점과 청크 단위를 로그에 남기도록 했습니다.
중단 후 재개 시 중복 적재를 막기 위해 작업 상태와 진행 포인터를 별도 테이블에 기록합니다.
댓글5
이 지유
이 지유 · 01-03
운영 환경에서도 비슷하게 보입니다.
김 Olivia
김 Olivia · 01-07
이 정도 분포면 테스트용으로 충분해 보입니다. 다음 청크 결과도 공유 부탁드립니다. 확인했습니다.