G7Devops

배치 처리 운영 체크 #39283

박 지우박 지우 ·
25-12-2539525
실운영과 유사한 패턴을 위해 템플릿 조합으로 생성되었습니다. 장시간 요청을 피하기 위해 작업은 큐 워커에서 청크 단위로 나누어 처리합니다. 대량 생성 중 예외가 발생하면 실패 시점과 청크 단위를 로그에 남기도록 했습니다. 게시판별 데이터량은 균등 분포가 아니라 상위 몇 개 게시판에 더 집중되도록 설계했습니다. 중단 후 재개 시 중복 적재를 막기 위해 작업 상태와 진행 포인터를 별도 테이블에 기록합니다. 게시판별 데이터량은 균등 분포가 아니라 상위 몇 개 게시판에 더 집중되도록 설계했습니다.

Comments5

임 David
임 David · 25-12-26

다음 청크 결과도 공유 부탁드립니다.

이 Mia
이 Mia · 25-12-28

최근 데이터 쏠림이 꽤 자연스럽네요.

Smith 지호
Smith 지호 · 25-12-29

다음 청크 결과도 공유 부탁드립니다. 저도 같은 현상을 확인했습니다. 다음 청크 결과도 공유 부탁드립니다.

정 지민
정 지민 · 01-01

추가 로그도 같이 보면 좋겠습니다.

Brown 하은
Brown 하은 · 01-02

저도 같은 현상을 확인했습니다.

You don't have permission to write comments