Cosmos DB에 자막 JSON 저장, 새 컨테이너 없이 나눈 법
자막 파일을 객체 스토리지에만 두면, 한 회차의 대사를 보고 싶을 때마다 어떻게 해야 할까요? 매번 파일을 받아서 파싱해야 해요. 오늘 우리는 파일은 Cloudflare R2에 그대로 두고, Azure Cosmos DB에 자막 한 편당 JSON 문서 하나를 같이 넣기로 했어요. 새 컨테이너는 만들지 않았어요. 이미 돌고 있는 컨테이너 안에서 종류 칸으로만 나눴어요.
파일만으로는 왜 부족했나요?
우리 음성 전사 파이프라인은 Container Apps와 MAI 전사가 만든 SRT 파일을 Azure Blob에 올려요. 오늘 이 파일들을 R2에도 옮겼어요. 여러 클라우드에서 같은 자료를 읽자는 0일차 글의 원칙 때문이에요.
옮기고 나니 조회가 불편하다는 게 보였어요. 경로만 알면 파일은 바로 받을 수 있어요. 하지만 "이 회차 몇 분쯤에 뭐라고 했지?"를 보려면 받아서 파싱하는 코드가 매번 필요해요. 그래서 DB에서 바로 꺼낼 수 있게 문서로도 남기자고 정했어요.
세 갈래 중 기존 컨테이너를 고른 이유
선택지는 셋이었어요.
- PostgreSQL에 jsonb 표를 만든다. 이미 쓰고 있는 DB예요.
- Cosmos DB에 자막 전용 컨테이너를 새로 만든다. 깔끔하지만 최소 400 RU/s(Cosmos DB 처리량 단위)가 따로 붙어요. 월 약 $23이 늘어요.
- 작업 큐가 쓰는 기존 Cosmos 컨테이너(600 RU/s 고정)에 종류 칸
q로 구분해 넣는다.
기준은 추가 고정비, 한 편 단위 조회, 기존 코드 재사용이었어요. 우리는 세 번째를 골랐어요. 큐 작업이 이미 이 컨테이너에 쓰고 있어서 클라이언트와 권한을 그대로 쓸 수 있었어요. 문서 모양은 이래요.
{
"q": "sub",
"w": "tv:<id>:<시즌>:<회>",
"source": "<전사 모델>",
"r2": "<R2 경로>",
"n": 180,
"lines": [[0.0, 2.4, "첫 대사"], [2.4, 5.1, "둘째 대사"]]
}
조회는 WHERE c.q='sub' AND c.w='...' 한 줄이에요. 성격이 다른 긴 녹음 전사본은 q 값만 다르게 해서 같은 컨테이너에 넣었어요. 솔직히 PostgreSQL jsonb로도 충분했을 거예요. Cosmos를 고른 건 성능보다 이미 깔린 길을 쓰는 편이 빨라서였어요.
그 대가로 챙긴 세 가지
첫째는 색인이에요. Cosmos DB는 기본으로 모든 칸을 색인해요. 대사 배열까지 색인되면 문서 하나 쓸 때마다 RU가 크게 들어요. 그래서 조회 키 w만 색인에 더하고 나머지는 빼 두었어요.
{
"includedPaths": [{ "path": "/q/?" }, { "path": "/w/?" }],
"excludedPaths": [{ "path": "/*" }]
}
우리 환경에서는 데이터 쪽 키로는 색인 정책을 못 바꿨어요. 관리 쪽 권한이 있는 az CLI로 바꿨어요.
둘째는 문서 한도 2MB예요. 아주 긴 자막은 이 한도를 넘을 수 있어요. 그런 문서는 대사를 빼고 R2 경로만 남기게 했어요.
셋째는 429예요. 큐와 RU를 나눠 쓰니 몰아 쓰면 큐가 밀려요. 기존 자막을 채울 때는 동시 2줄로 천천히 넣고, 429가 나면 쉬었다가 다시 하게 했어요(3일차 글의 방식 그대로예요). 다 채우는 데 1시간 20분쯤 걸렸고 실패는 0이었어요.
새 자막은 Functions 타이머가 맡아요. 2분마다 Blob을 훑어서 아직 안 옮긴 파일을 R2에 올려요. 그다음 메타데이터 DB에 주소를 적고, Cosmos 문서를 만들어요. Container Apps 쪽 전사 코드는 한 줄도 안 고쳤어요. Cosmos 쓰기가 실패해도 파일은 이미 R2에 있어서, 나중에 다시 채우면 돼요.
그날 느낀 점이 하나 있어요. 전사, 보관, 색인이 타이머 하나로 이어지니 정말 편해요. 그런데 2분마다 도는 게 눈에 안 보여서 조마조마해요. 그래서 매일 보고 메일에 이 단계 줄을 하나 더 넣었어요.
그 밖에 오늘
- Front Door 요청 수를 하루 한 칸으로 묶어 조회했더니 1건으로 나왔어요. 시간 단위로 다시 세니 하루 수천 건이었어요. 메트릭 집계 단위부터 확인하세요.
- Functions Flex Consumption은 켜져 있는 시간 × 인스턴스 크기로 청구돼요. 하루만 쓰려던 일정 설정이 남아서 그날 실행 시간이 평소의 약 3배가 됐어요. 날짜가 지난 설정은 바로 지웠어요.
- Azure OpenAI의 GPT 모델로 전사 교정을 시험했어요. 1시간 분량에 약 $0.11이었어요. 전사 규칙상 숫자를 한글로 적어야 해서, 그 규칙을 프롬프트에 꼭 박아야 했어요.
아직 모르는 게 있어요. 전사가 몰리는 날, 같은 600 RU/s를 나눠 쓰는 큐가 눈에 띄게 밀릴까요? 그렇다면 데이터베이스 단위 공유 처리량이 새 컨테이너보다 나은 답일지도 몰라요. 아직 재 보지 못했어요.