nest.codes blog
6~7일차 · · 6분 읽기

Azure 서비스 실사용, 사용 지표로 점검한 법

Well-Architected 문서에서 '워크로드'는 해법 전체를 뜻하지만, 스타트업 프로그램 문서에서는 실제로 쓰는 Azure 서비스 하나를 뜻해요. 이 차이를 짚다가 '우리가 붙인 서비스들은 정말 일하고 있나?'를 지표로 점검했어요. 답은 '모두 일하고 있다'였고, 거의 조용한 Load Balancer도 장애 때 일하는 보험이었어요.

같은 '워크로드'인데 왜 세는 단위가 다를까요?

마일스톤은 여러 서비스를 60일 동안 꾸준히 실제로 쓰는 규칙이에요(0일차 글). 그 '실제로'를 우리가 잘 지키는지, Claude Code 서브에이전트에게 Well-Architected 문서와 대조를 맡겼어요.

두 문서는 같은 낱말을 다른 단위로 써요. Well-Architected의 워크로드는 리소스·코드·모델·데이터가 함께 하나의 비즈니스 결과를 내는 묶음이에요. 그 기준이면 우리 해법은 미디어 처리, 음성 전사, 검색, 웹, GPU 추론 정도예요.

스타트업 문서는 '솔루션에서 실제로 쓰는 고유한 서비스 하나'를 하나로 세요. 그래서 우리는 Well-Architected를 셈 기준이 아니라 거울로 쓰기로 했어요. 서비스마다 서비스 가이드가 말하는 용도대로 쓰는지 비춰 보는 거예요.

리뷰어는 대부분이 가이드 용도 그대로라고 했고, 몇 가지를 의심했어요. 저우선(low priority) GPU 노드를 늘 1대 켜 두는 것, Developer 등급 API Management, 트래픽이 거의 없는 Load Balancer예요. GPU 노드는 바로 결론이 났어요. 이 구독에서는 전용 GPU 한도를 받을 수 없어서, 여러 리전 저우선 클러스터로 상시 추론을 받치는 게 우리 설계예요. 나머지는 숫자로 보기로 했어요.

지표로 보면 켜 두기만 한 서비스가 있었나요?

감으로 답하지 않고 지난 이틀 지표를 뽑았어요.

눈에 띄게 적은 건 GPU 쪽 Load Balancer 하나였어요. 하루 몇 MB, 상태 검사 수준이었어요. 처음엔 나도 '이건 빼야 하나' 싶었어요. 그런데 하는 일을 다시 보니 평소엔 조용한 게 맞았어요.

장애 때 일하는 서비스는 평소 트래픽으로 판정하면 안 된다는 게 이번에 배운 것이에요. 우리는 이 역할을 해법 문서에 적고 그대로 두기로 했어요.

API Management 관문과 검색 비용은 왜 이렇게 짰나요?

API Management는 솔직히 우리 규모엔 과하다고 생각했던 서비스예요. 마일스톤 기간에 Azure OpenAI 앞 관문으로 세워 보니 생각이 바뀌었어요.

이유는 두 가지예요. 첫째, 모델 키를 작업 코드와 PC에 흩어 두지 않아요. 부르는 쪽은 관문 키 하나만 알아요. 둘째, 하루 토큰 한도(100만 토큰)로 폭주를 막아요. 전에 교정 작업이 버그로 같은 일을 몇 시간 되풀이한 적이 있는데, 이제 그런 일은 관문에서 멈춰요.

관문이 죽으면 일도 멈추니, 5xx·401·연결 끊김이면 직접 주소로 한 번 다시 부르게 했어요. 한도 초과(403)는 일부러 그대로 멈춰요. 아쉬운 점도 있어요. Developer 등급은 가이드에도 운영용이 아니라고 적혀 있고, 만드는 데 오래 걸렸어요.

검색은 Foundry의 Cohere 임베딩(embed-v-4-0)으로 벡터를 만들어 AI Search 색인에 넣어요. 질의 결과는 Cohere 리랭커(rerank v5 pro)로 다시 줄 세워요. 둘 다 Azure 직접 판매 모델이라 크레딧으로 청구돼요. Marketplace 서버리스 배포는 크레딧이 안 돼서 쓰지 않는다는 규칙도 이때 정했어요.

AI Search의 자동 벡터화 연결 대신 코드에서 직접 임베딩을 부른 것도 청구 경로를 확실히 하려고서예요. 대가는 비용이었어요. 11-19 하루 Foundry 모델 비용 약 $6 가운데 리랭크와 임베딩이 절반 넘게 차지했어요. 색인을 처음 채우는 일회성 작업 탓이라, 평소 하루 10~20번 검색으로 돌아가면 줄어들 거예요(추정).

Cosmos DB autoscale 권고는 왜 따르지 않았나요?

리뷰어와 Advisor 모두 Cosmos DB autoscale을 권했어요. 우리는 고정 600 RU/s에 429 재시도를 그대로 두기로 했어요. 재시도 설계는 3일차 글에 있어요.

근거는 숫자였어요. 429는 하루 70건 남짓이고 재시도로 다 끝나요. autoscale은 한 시간 안의 최고치로 그 시간을 청구하는데, 지난 72시간 중 66시간이 순간적으로 600을 채웠어요. 바꾸면 하루 비용이 두세 배로 오를 수 있었어요(추정). 얻는 건 '몰릴 때 조금 더 빨리'뿐이었어요.

앞 글 정정: 앞 글의 하루 비용 약 $33은 일회성 작업을 뺀 '평소' 추정이었어요. 최근 실제 청구 평균은 약 $45예요. 새로 붙인 관문 같은 고정비와 색인 채우기 같은 일회성 사용이 들어간 값이에요.

이번에 느낀 게 하나 있어요. 로컬 Claude 창에서 지휘하던 일을 Functions 정기 실행으로 보내 놓으니, 이런 지표가 내 유일한 눈이에요. 편하지만 눈앞에 안 보여서, 지표 없이 '잘 돌겠지' 하는 건 이제 불안해요. 다음 걸음은 Cosmos 429, 관문 5xx, 로그 상한에 지표 알림을 붙이는 거예요.

켜 두기만 한 서비스가 있는지 점검할 때 우리가 쓴 순서예요.

그 밖에 오늘

#azure#api-management#azure-ai-search#load-balancer#well-architected
이 시리즈의 글
  1. 프롤로그 · Azure 크레딧, NVIDIA Inception에서 시작된 이전
  2. 1일차 · Azure PostgreSQL 이전, 할당량 있어도 서울에 못 만든 이유
  3. 2일차 · Container Apps 서버리스 GPU 실제 비용
  4. 3일차 · Cosmos DB 429, 평균 RU 1%에서 재시도로 푼 법
  5. 4일차 · Cosmos DB에 자막 JSON 저장, 새 컨테이너 없이 나눈 법
  6. 5일차 · Container Apps 작업 시작 8분→1.8분, Blob으로
  7. 6~7일차 · Azure 서비스 실사용, 사용 지표로 점검한 법