Cosmos DB 429, 평균 RU 1%에서 재시도로 푼 법
평균 사용률은 1%도 안 되는데, 429(요청이 너무 많음)는 한 시간에 많게는 약 4,000번 났어요. 이 글은 "Cosmos DB 처리량이 남는데 왜 막히나, RU/s를 올려야 하나"에 답해요. 우리 답은 올리지 않는다였어요. 문제는 용량이 아니라 몇 초 사이에 몰리는 쓰기였고, 동시 쓰기를 줄이고 재시도를 넣어 풀었어요.
평균 1%인데 왜 429가 났을까요
우리는 Cosmos DB for NoSQL 컨테이너 하나를 작업 큐와 기록 저장소로 같이 써요. 처리량은 수동(고정) 600 RU/s예요. RU/s는 Cosmos가 1초에 처리해 주는 요청 비용의 양이에요. 여러 Azure Functions와 전사 작업이 이 컨테이너를 나눠 써요.
문제는 Functions 오류 기록에서 먼저 보였어요. 전사 결과를 줄 단위 문서로 넣는 단계가 계속 실패하고 있었어요. 전사 하나가 끝나면 문서 수백 개를 8개씩 동시에 upsert했거든요.
시간대별 지표를 열어 보니 그림이 갈렸어요. 평소에는 한 시간 평균이 600 RU/s의 0.1~0.3%였어요. 그런데 전사가 끝나는 순간에는 Normalized RU Consumption(정규화된 RU 사용률)이 100%를 찍었어요. 한도는 초 단위로 걸리는데, 우리는 시간 평균만 보고 있었던 거예요.
처음에 나는 "429가 날 정도면 600 RU/s를 꽉 채워 쓰는 거다"라고 생각했어요. 다시 보니 틀린 말이었어요. 하루 전체로는 1%도 안 쓰고, 몰린 몇 초만 넘쳤어요.
조용히 실패한 쓰기는 어디에 숨어 있었나
더 아팠던 건 실패가 안 보였다는 점이에요. 코드는 쓰기가 실패하면 기록만 남기고 넘어가게 되어 있었어요. 매일 받는 보고 메일에는 경고가 하나도 없었어요. 결과 파일과 PostgreSQL 기록은 멀쩡해서, 빠진 건 Cosmos 쪽 줄뿐이었어요.
지난 24시간 동안 전사 18건의 줄이 통째로 빠져 있었어요. 로컬 PC의 Claude 창에서 직접 돌릴 때는 빨간 오류가 바로 눈에 들어왔어요. Functions로 옮긴 뒤로는 일이 저절로 돌고, 나는 메일로만 결과를 봐요. 편해졌지만, 이런 조용한 실패가 제일 무섭다는 걸 이번에 느꼈어요.
고친 내용은 두 가지예요.
- 동시에 넣는 수를 8개에서 2개로 줄였어요.
- 429가 오면 1초, 2초, 4초… 최대 60초까지 늘려 기다렸다가 최대 12번 다시 넣어요.
for attempt in range(12):
try:
container.upsert_item(doc)
break
except CosmosHttpResponseError as e:
if e.status_code != 429:
raise
time.sleep(min(60, 2 ** attempt))
고친 코드로 빠졌던 줄 약 4만 9천 개를 다시 채웠어요. 채우는 동안에도 429는 났지만, 재시도가 받아 내서 실패는 0건이었어요. 같은 줄은 같은 ID로 덮어써서 중복도 생기지 않았어요.
RU/s를 올릴까, autoscale로 갈까, 그대로 둘까
선택지는 셋이었어요.
- 고정 RU/s를 올리기
- autoscale(최대치 안에서 시간마다 오르내림)로 바꾸기
- 600 RU/s를 두고 재시도로 흡수하기
autoscale은 그 시간에 실제로 올라간 최대치로 청구되고, 단가가 고정의 1.5배예요. 몇 시간씩 바쁜 일에는 맞지만, 우리 몰림은 몇 초짜리라 이득이 작았어요. 무료 등급(Free tier)도 봤어요. 성능 차이 없이 1,000 RU/s와 25GB만큼 깎아 주는 순수 할인이라 좋아 보였어요. 다만 계정을 만들 때만 켤 수 있고 구독당 하나뿐이라, 큐를 새 계정으로 옮겨야 했어요.
결정 전에 Azure 지원에 그대로 물어봤어요. "평균 사용률 1% 미만인데 순간 429가 난다, RU/s를 올려야 하나?" 답의 요지는 이랬어요. 429는 장애가 아니라 정상적인 속도 제한 신호이고, 재시도로 실패가 사라지면 RU/s를 올릴 필요는 없다는 거예요. 그래서 3번, 그대로 두고 재시도로 정했어요. 대가는 몰리는 순간 쓰기가 몇십 초 늦어진다는 점인데, 우리 일에는 문제가 없어요.
지원 문의에서도 하나 배웠어요. Developer 지원 플랜에서는 Support API로 문의를 만들 수 없어요(Professional Direct 이상 필요). 목록과 답장 읽기는 API로 돼서, 만들기는 포털, 읽기는 API로 나눴어요. 포털이 문제 유형을 '처리량 및 크기 조정 / 요청 빈도가 너무 높음'으로 알아서 골라 준 건 기대보다 좋았어요.
솔직히 Cosmos는 처음에 우리 규모에 과하다고 생각했어요. 마일스톤 기간에 큐로 써 보니, 지표가 초 단위 문제까지 보여 줘서 원인을 빨리 찾았어요. 다만 기본 그래프가 시간 평균이라 몰림을 놓치기 쉬운 점은 아직 불편해요. 다음 걸음은 시간대별 429 건수를 다시 보고, 실제 쓰기 실패가 0인지 확인하는 거예요.
같은 일을 겪는 팀을 위한 점검 목록이에요.
- 시간 평균 말고 Normalized RU Consumption의 최대값을 보세요.
- 대량 upsert는 동시 수부터 줄이세요.
- 429에는 지수 백오프 재시도를 넣으세요.
- 실패를 기록만 하고 넘기는 코드가 있으면 알림에 올리세요.
- 무료 등급은 계정을 만들 때만 켤 수 있다는 걸 미리 알아 두세요.
그 밖에 오늘
- 앞 글 정정: 2일차 글에서 서버리스 GPU 비용을 GPU+vCPU+RAM 합으로 잡았어요. 실제 청구에는 T4 사용료(시간당 약 $0.263)만 붙었고, vCPU와 메모리는 매달 주는 무료분이 받아 냈어요. 무료분이 남은 달 초에는 실제 비용이 추정보다 낮아요.
- Cosmos NoSQL 쿼리에서
by를 별칭으로 썼다가 예약어라 문법 오류가 났고, 매일 도는 작업 하나가 시작되지 않았어요. 별칭을 바꿔 다시 배포했어요. - Azure ML 컴퓨팅 클러스터의 최소 노드를 0으로 바꿨어요. 노드에 붙는 Premium SSD OS 디스크는 Storage로 청구되는데, 노드가 꺼지면 함께 사라져요.