nest.codes blog
4일차 · · 3분 읽기

Cosmos DB에 자막 JSON 저장, 새 컨테이너 없이 나눈 법

자막 파일을 객체 스토리지에만 두면, 한 회차의 대사를 보고 싶을 때마다 어떻게 해야 할까요? 매번 파일을 받아서 파싱해야 해요. 오늘 우리는 파일은 Cloudflare R2에 그대로 두고, Azure Cosmos DB에 자막 한 편당 JSON 문서 하나를 같이 넣기로 했어요. 새 컨테이너는 만들지 않았어요. 이미 돌고 있는 컨테이너 안에서 종류 칸으로만 나눴어요.

파일만으로는 왜 부족했나요?

우리 음성 전사 파이프라인은 Container Apps와 MAI 전사가 만든 SRT 파일을 Azure Blob에 올려요. 오늘 이 파일들을 R2에도 옮겼어요. 여러 클라우드에서 같은 자료를 읽자는 0일차 글의 원칙 때문이에요.

옮기고 나니 조회가 불편하다는 게 보였어요. 경로만 알면 파일은 바로 받을 수 있어요. 하지만 "이 회차 몇 분쯤에 뭐라고 했지?"를 보려면 받아서 파싱하는 코드가 매번 필요해요. 그래서 DB에서 바로 꺼낼 수 있게 문서로도 남기자고 정했어요.

세 갈래 중 기존 컨테이너를 고른 이유

선택지는 셋이었어요.

기준은 추가 고정비, 한 편 단위 조회, 기존 코드 재사용이었어요. 우리는 세 번째를 골랐어요. 큐 작업이 이미 이 컨테이너에 쓰고 있어서 클라이언트와 권한을 그대로 쓸 수 있었어요. 문서 모양은 이래요.

{
  "q": "sub",
  "w": "tv:<id>:<시즌>:<회>",
  "source": "<전사 모델>",
  "r2": "<R2 경로>",
  "n": 180,
  "lines": [[0.0, 2.4, "첫 대사"], [2.4, 5.1, "둘째 대사"]]
}

조회는 WHERE c.q='sub' AND c.w='...' 한 줄이에요. 성격이 다른 긴 녹음 전사본은 q 값만 다르게 해서 같은 컨테이너에 넣었어요. 솔직히 PostgreSQL jsonb로도 충분했을 거예요. Cosmos를 고른 건 성능보다 이미 깔린 길을 쓰는 편이 빨라서였어요.

그 대가로 챙긴 세 가지

첫째는 색인이에요. Cosmos DB는 기본으로 모든 칸을 색인해요. 대사 배열까지 색인되면 문서 하나 쓸 때마다 RU가 크게 들어요. 그래서 조회 키 w만 색인에 더하고 나머지는 빼 두었어요.

{
  "includedPaths": [{ "path": "/q/?" }, { "path": "/w/?" }],
  "excludedPaths": [{ "path": "/*" }]
}

우리 환경에서는 데이터 쪽 키로는 색인 정책을 못 바꿨어요. 관리 쪽 권한이 있는 az CLI로 바꿨어요.

둘째는 문서 한도 2MB예요. 아주 긴 자막은 이 한도를 넘을 수 있어요. 그런 문서는 대사를 빼고 R2 경로만 남기게 했어요.

셋째는 429예요. 큐와 RU를 나눠 쓰니 몰아 쓰면 큐가 밀려요. 기존 자막을 채울 때는 동시 2줄로 천천히 넣고, 429가 나면 쉬었다가 다시 하게 했어요(3일차 글의 방식 그대로예요). 다 채우는 데 1시간 20분쯤 걸렸고 실패는 0이었어요.

새 자막은 Functions 타이머가 맡아요. 2분마다 Blob을 훑어서 아직 안 옮긴 파일을 R2에 올려요. 그다음 메타데이터 DB에 주소를 적고, Cosmos 문서를 만들어요. Container Apps 쪽 전사 코드는 한 줄도 안 고쳤어요. Cosmos 쓰기가 실패해도 파일은 이미 R2에 있어서, 나중에 다시 채우면 돼요.

그날 느낀 점이 하나 있어요. 전사, 보관, 색인이 타이머 하나로 이어지니 정말 편해요. 그런데 2분마다 도는 게 눈에 안 보여서 조마조마해요. 그래서 매일 보고 메일에 이 단계 줄을 하나 더 넣었어요.

그 밖에 오늘

아직 모르는 게 있어요. 전사가 몰리는 날, 같은 600 RU/s를 나눠 쓰는 큐가 눈에 띄게 밀릴까요? 그렇다면 데이터베이스 단위 공유 처리량이 새 컨테이너보다 나은 답일지도 몰라요. 아직 재 보지 못했어요.

#azure#cosmos-db#azure-functions#cloudflare-r2#speech-to-text
이 시리즈의 글
  1. 프롤로그 · Azure 크레딧, NVIDIA Inception에서 시작된 이전
  2. 1일차 · Azure PostgreSQL 이전, 할당량 있어도 서울에 못 만든 이유
  3. 2일차 · Container Apps 서버리스 GPU 실제 비용
  4. 3일차 · Cosmos DB 429, 평균 RU 1%에서 재시도로 푼 법
  5. 4일차 · Cosmos DB에 자막 JSON 저장, 새 컨테이너 없이 나눈 법
  6. 5일차 · Container Apps 작업 시작 8분→1.8분, Blob으로
  7. 6~7일차 · Azure 서비스 실사용, 사용 지표로 점검한 법