실운영과 유사한 패턴을 위해 템플릿 조합으로 생성되었습니다.
중단 후 재개 시 중복 적재를 막기 위해 작업 상태와 진행 포인터를 별도 테이블에 기록합니다.
장시간 요청을 피하기 위해 작업은 큐 워커에서 청크 단위로 나누어 처리합니다.
댓글은 게시글 작성자와 다른 사용자가 달도록 기본 제약을 적용했습니다.
게시판별 데이터량은 균등 분포가 아니라 상위 몇 개 게시판에 더 집중되도록 설계했습니다.
댓글6
강 John
강 John · 25-12-12
비밀 댓글입니다.
조 William
조 William · 25-12-15
좋은 정보 감사합니다. 운영 환경에서도 비슷하게 보입니다. 성능 비교할 때 참고하겠습니다.
Miller 시우
Miller 시우 · 25-12-17
최근 데이터 쏠림이 꽤 자연스럽네요.
Garcia 서윤
Garcia 서윤 · 25-12-17
배치 크기만 조금 더 조정해 보시면 될 듯합니다.
Martinez 예준
Martinez 예준 · 25-12-18
저도 같은 현상을 확인했습니다. 저도 같은 현상을 확인했습니다.
윤 주원
윤 주원 · 25-12-20
다음 청크 결과도 공유 부탁드립니다. 이 정도 분포면 테스트용으로 충분해 보입니다. 재실행 시 충돌 없이 이어지는지 확인해 주세요.