Azure 크레딧, NVIDIA Inception에서 시작된 이전
작업용 PC 화면에 Claude Code 창이 여러 개 떠 있었어요. 창마다 GPU 일감 하나를 지휘하고, 나는 그 사이를 오가며 결과를 확인했죠. 이 글은 그런 우리가 왜 워크로드를 Azure로 옮기기로 했는지에 답해요. 짧게 말하면, NVIDIA Inception 가입이 Azure 크레딧으로 이어졌고, 마침 GPU 추론을 늘 켜 둘 관리형 자리가 필요했어요.
우리는 모델을 만들고, 추론 서버를 돌리고, SaaS를 운영하는 작은 팀이에요. 워크로드는 크게 미디어 처리 · 음성 전사 · 검색 · 웹 · GPU 추론이에요. 지금까지는 거의 다 다른 클라우드의 스팟 GPU와 작업용 PC에서 돌았어요.
NVIDIA Inception 가입이 어떻게 Azure로 이어졌나
시작은 Azure가 아니었어요. GPU를 많이 쓰다 보니 NVIDIA Inception(NVIDIA의 스타트업 프로그램)에 먼저 가입했어요. 혜택 목록을 보다가 Azure 크레딧 항목을 발견했어요.
순서는 이랬어요. Inception 쪽에서 Azure 크레딧 혜택을 먼저 요청했어요. 그다음 Microsoft for Startups에 따로 신청했어요. 심사는 Microsoft가 한다는 안내를 받았어요.
솔직히 쉽지만은 않았어요. 본인 확인이 생각보다 오래 걸렸고, 그 사이 한 번은 첫 크레딧의 기한이 지나기도 했어요. 그래도 포털에는 시작용 크레딧과 다음 단계 마일스톤이 보였어요.
같은 시기에 다른 클라우드의 스타트업 크레딧(AWS Activate 등)도 신청했어요. 어느 한 곳에 기대기보다, 크레딧이 있는 곳으로 계산을 옮겨 다닐 수 있게 하자는 생각이었어요.
왜 굳이 Azure로 옮겨 보기로 했나
우리 주력은 오랫동안 AWS였어요. 내 느낌으로 AWS는 필요한 건 다 있는 공구 창고예요. GCP는 구글 로그인(OAuth) 때문에 어차피 써야 하는 필수품에 가까웠고요.
Azure에 기대한 건 세 가지였어요. - GPU 추론을 관리형 클러스터에 늘 켜 둘 수 있는가. Azure Machine Learning의 컴퓨트 클러스터는 최소 노드를 1로 두면 노드가 꺼져도 다시 올라와요. - T4 같은 추론용 GPU를 싸게 쓸 수 있는가. 공개 가격 기준으로 4 vCPU T4 저우선순위(스팟) 노드는 시간당 0.1달러대였어요. - Azure OpenAI · Foundry 같은 AI 서비스를 같은 구독에서 바로 붙일 수 있는가.
반대로 걱정도 있었어요. 콘솔과 CLI가 AWS보다 손에 덜 익었어요. 또 크레딧에 끌려 한 클라우드에 묶이는 건 피하고 싶었어요. 그래서 원칙을 하나 세웠어요. 데이터와 서버는 PostgreSQL · 도커 이미지 · 오브젝트 스토리지 같은 표준 형태로 두기로요.
시작 전에 무엇을 준비했나
먼저 마일스톤 규칙을 읽었어요. 요지는 여러 Azure 서비스를 60일 동안 꾸준히 실제로 쓰는 거예요. 하루라도 빠지면 처음부터 다시 세는 구조라, 해커톤 규칙을 받아 든 기분이었어요. 우리 쪽 원칙은 간단히 정했어요. 실제로 일을 하는 서비스만 붙이고, 붙일 때마다 무슨 일을 하려는지 먼저 적기로요.
그다음 Azure CLI로 우리 사용자와 가까운 리전의 T4 계열 크기와 스팟 할당량을 확인했어요. 같은 T4라면 다른 클라우드의 T4 인스턴스에서 미리 실험하고, 완성본만 Azure로 보내면 된다는 계산도 섰어요.
통신 구조도 미리 그렸어요. 예전에는 웹 서버와 GPU 서버가 사설 네트워크로 이야기했어요. Azure에서는 웹 쪽과 GPU 노드를 같은 VNet(가상 네트워크)의 다른 서브넷에 두기로 했어요. GPU 추론 포트는 웹 서브넷에서만 열고, 공인 IP로는 닿지 않게 하는 방향이에요.
옮기는 순서는 GPU 추론 → 웹 → DB · 검색 → 미디어 처리 · 음성 전사로 잡았어요. 효과가 가장 크고 되돌리기 쉬운 것부터예요. 첫 걸음은 Azure ML에 T4 한 대를 늘 켜 두는 일이에요.
그 밖에 오늘
- Foundry 모델 목록을 훑었어요. 쓸 만한 모델과 할당량 구조를 먼저 알아 두는 게 나중에 덜 헤매요.
- 새 음성 모델이 Azure Speech 쪽으로 청구되는지 확인했어요. 같은 이름이라도 어느 서비스로 묶이는지가 설계에 영향을 줘요.
- 처음 쓰는 리소스 공급자는 등록이 필요할 수 있어, 미리 확인해 두기로 했어요.
최근 Inception 경로의 Azure 크레딧이 승인됐다는 소식을 받았어요. 금액은 프로그램 공개 금액 수준인 몇천 달러예요. 작은 팀에는 실험 몇 달을 버틸 만한 크기라, 설계 판단의 근거로 아껴 쓰려고 해요.
이 블로그에 적는 것과 일부러 빼는 것은 이렇게 정했어요. - 적는 것: 고른 Azure 서비스와 이유, 설정, 막힌 곳과 고친 방법, 반올림한 비용 - 적는 것: 다른 클라우드 · 이전 방식과 비교한 솔직한 장단점 - 빼는 것: 워크로드의 구체적 내용과 데이터, 계정 · 리소스 이름, 심사 뒷이야기 - 빼는 것: 비용을 맞추는 요령 같은 것. 우리가 하는 건 실제 일을 옮기는 거예요.