G7Devops

배치 처리 진행 현황 #41447

Garcia 서윤Garcia 서윤 ·
25-12-1519416
실운영과 유사한 패턴을 위해 템플릿 조합으로 생성되었습니다. 대량 생성 중 예외가 발생하면 실패 시점과 청크 단위를 로그에 남기도록 했습니다. 장시간 요청을 피하기 위해 작업은 큐 워커에서 청크 단위로 나누어 처리합니다. 작성 시각은 최근 집중과 장기 분산 시나리오를 모두 검증할 수 있도록 옵션화했습니다. 중단 후 재개 시 중복 적재를 막기 위해 작업 상태와 진행 포인터를 별도 테이블에 기록합니다.

댓글6

Martinez 서현
Martinez 서현 · 25-12-18

운영 환경에서도 비슷하게 보입니다. 성능 비교할 때 참고하겠습니다. 저도 같은 현상을 확인했습니다.

장 민준
장 민준 · 25-12-18

이 정도 분포면 테스트용으로 충분해 보입니다.

정 지후
정 지후 · 25-12-20

배치 크기만 조금 더 조정해 보시면 될 듯합니다. 저도 같은 현상을 확인했습니다. 다음 청크 결과도 공유 부탁드립니다.

Rodriguez 서연
Rodriguez 서연 · 25-12-20

댓글 수 편차가 잘 들어간 것 같습니다. 추가 로그도 같이 보면 좋겠습니다.

윤 Sophia
윤 Sophia · 25-12-24

최근 데이터 쏠림이 꽤 자연스럽네요. 좋은 정보 감사합니다. 이 정도 분포면 테스트용으로 충분해 보입니다.

Davis Sophia
Davis Sophia · 25-12-25

이 정도 분포면 테스트용으로 충분해 보입니다. 다음 청크 결과도 공유 부탁드립니다. 운영 환경에서도 비슷하게 보입니다.

댓글 작성 권한이 없습니다