엔터프라이즈 LLM API 비용 비교: AWS Bedrock vs Google Vertex AI vs OpenAI Batch·Prompt Caching 절감 전략
엔터프라이즈 서비스에 LLM(거대 언어 모델)을 연동할 때 개발팀이 가장 먼저 부딪히는 문제는 모델 성능이 아니라 매달 불어나는 토큰 청구서입니다. 같은 모델이라도 AWS Bedrock의 글로벌 엔드포인트와 리전 고정 엔드포인트 사이에는 10%의 기본 단가 차이가 발생하며, OpenAI Direct API의 Batch·Flex 티어나 Prompt Caching 적용 여부에 따라 월간 비용이 절반 이하에서 최대 60% 이상까지 갈립니다.
단순히 100만 토큰당 기본(On-Demand) 단가표만 보고 플랫폼을 선택하면 실제 운영 환경에서 예상치 못한 과금 절벽을 만나기 쉽습니다. Google Vertex AI(Gemini Enterprise Agent Platform)에서는 내부 추론(Thinking) 토큰이 비싼 출력 토큰 단가로 합산되고, 200K 토큰을 넘는 긴 컨텍스트는 입력 단가가 2배로 뜁니다. 반대로 AWS Bedrock은 모델 추론 단가가 직거래 API와 같더라도 Knowledge Bases(OpenSearch Serverless)나 Guardrails 같은 부가 스택 비용이 전체 청구서의 20~35%를 차지할 수 있습니다. 이 글에서는 세 플랫폼의 실제 과금 구조와 숨은 비용 조건을 비교하고, Prompt Caching·Batch·Cross-Region 라우팅으로 실무 비용을 절반 이하로 낮추는 설정을 정리합니다.
1. AWS Bedrock vs Google Vertex AI vs OpenAI API 요금 구조 비교
세 플랫폼은 동일한 파운데이션 모델을 호스팅하더라도 엔드포인트 범위(Global vs Regional), 비동기 할인(Batch/Flex), 그리고 SLA(서비스 수준 협약) 조건이 다릅니다. 특히 데이터 주권(Data Residency) 규정이 없는 워크로드에서 습관적으로 단일 리전 엔드포인트를 지정하면 첫 호출부터 10%를 더 내고 시작하게 됩니다.
| 비교 항목 | AWS Bedrock | Google Vertex AI | OpenAI Direct API |
|---|---|---|---|
| 기본 단가 기준 | Global 엔드포인트는 원제작사 API와 동일 단일 리전 고정 시 +10% 할증 |
Gemini 계열 최저가(Flash 등) 서드파티(Claude 등) 리전 고정 시 +10% |
Standard 티어 기준 신규 모델·기능 최우선 제공 |
| Prompt Caching | Cache Read 최대 90~95% 할인 (Claude Sonnet 5.5 기준 $2 → $0.10/1M) |
Context Caching 지원 반복 프리픽스 과금 약 90% 절감 |
자동/지정 Prefix Caching Cached Input 90% 할인 ($10 → $1/1M) |
| 비동기·유휴 할인 | Batch(S3 JSONL, 24h) 50% 할인 Flex 티어 -50% (Nova·일부 모델 한정) |
Batch Prediction 50% 할인 (24시간 내 비동기 처리) |
Batch API 50% 할인 Flex 티어 -50% (실시간 동기·용량 가변) |
| 숨은 과금 절벽 | Knowledge Bases(OpenSearch 월 ~$345~), Guardrails($0.15/1K 유닛) 별도 과금 | Thinking 토큰 = Output 단가 과금 200K 초과 프롬프트 입력 단가 2배 |
272K 초과 시 입력 2배·출력 1.5배 Fast/Ultrafast 티어는 2~6배 할증 |
| 가용성 SLA 및 거버넌스 | 99.9% SLA AWS IAM·VPC PrivateLink·통합 청구 |
온라인 추론 99.5% SLA GCP IAM·BigQuery 데이터 파이프라인 연계 |
엔터프라이즈 계약 시 별도 SLA Zero Data Retention(ZDR) 옵션 |
표에서 가장 먼저 짚어야 할 지점은 단일 리전 엔드포인트의 10% 할증과 긴 컨텍스트·추론 토큰의 과금 방식입니다. Bedrock에서 Claude Sonnet 5.5(Global 기준 입력 $2 / 출력 $10)를 us-east-1 단일 리전 ID로 호출하면 입력 $2.20 / 출력 $11.00으로 즉시 10%가 더 붙습니다. 또한 Vertex AI에서 Reasoning(사고) 모델을 사용할 때는 사용자 화면에 보이지 않는 내부 추론 토큰 4,000개가 생성되고 실제 답변이 500토큰이라면, 청구서에는 출력 토큰 4,500개가 기록됩니다.
만약 사내 보안 규정 때문에 외부 SaaS API 대신 자체 GPU 서버를 직접 운영할지 고민 중이라면, 상시 임대 비용과 VRAM 손익분기점을 다룬 AI 추론·파인튜닝 GPU 클라우드 요금 비교(AWS EC2 vs RunPod vs Lambda Labs) 글에서 직접 호스팅 시의 고정비 구조를 먼저 대조해 보시기 바랍니다.
2. 월간 11억 토큰 기준 실전 비용 시뮬레이션 (Caching vs Batch)
실무 RAG(검색 증강 생성)나 고객지원 에이전트는 매 요청마다 수천 토큰짜리 시스템 프롬프트와 사내 규정 문서를 반복 전송합니다. 월간 신규 입력 4억 토큰 + 반복 프리픽스(캐시 대상) 6억 토큰 + 출력 1억 토큰을 처리하는 엔터프라이즈 워크로드를 가정하면, 호출 방식에 따라 월 청구액이 2배 이상 벌어집니다.
| 호출 경로 및 모델 | 신규 입력 (400M) | 반복 프리픽스 (600M) | 출력(100M) 포함 월 합계 |
|---|---|---|---|
| GPT-6 Astra (캐시 미적용 Standard) | $4,000 | $6,000 (정가) | $15,000 ($5,000 출력) |
| GPT-6 Astra (OpenAI Standard + Caching) | $4,000 | $600 (90% 할인) | $9,600 (-36%) |
| GPT-6 Astra (Bedrock In-Region + Caching) | $4,400 | $660 (+10% 할증) | $10,560 (리전 고정비) |
| GPT-6 Astra (OpenAI Batch + Caching) | $2,000 | $300 | $4,800 (-68%) |
| Claude Sonnet 5.5 (Global + Caching) | $800 | $60 (95% 할인) | $1,860 ($1,000 출력) |
이 시뮬레이션에서 핵심은 두 가지입니다. 첫째, Prompt Caching은 실시간 대화형 서비스에서도 지연 시간 증가 없이 오히려 TTFT(첫 토큰 응답 시간)를 줄이면서 반복 입력 비용을 90~95% 깎아줍니다. 둘째, 야간 티켓 분류·문서 요약·평가(Eval)처럼 사람이 화면 앞에서 기다리지 않는 작업은 Batch 또는 Flex 티어로 분리해 50% 할인을 즉시 적용해야 합니다. 반면, Bedrock의 Provisioned Throughput(예약 모델 유닛)은 트래픽이 24시간 일정하게 꽉 차는 경우가 아니라면 유휴 시간에도 시간당 수십 달러가 고정 과금되므로 초기 도입은 피하는 편이 안전합니다.
3. 실전 비용 절감 설정: Caching · Global 라우팅 · Flex 폴백
단가를 줄이는 가장 확실한 방법은 코드 레벨에서 정적 컨텍스트를 프롬프트 앞단에 고정해 캐시 적중률(Cache Hit Rate)을 높이고, 비실시간·배치 트래픽에 50% 할인 티어를 강제하는 것입니다.
① AWS Bedrock Global 엔드포인트 + Prompt Caching 설정
Bedrock에서 Claude 모델을 호출할 때는 단일 리전 ID 대신 global. 접두사가 붙은 Cross-Region Inference 프로파일을 사용하면 10% 리전 할증을 피하고 스로틀링(Throttling)도 줄일 수 있습니다. 또한 cachePoint 블록을 시스템 프롬프트와 공통 문서 직후에 배치해 캐시 쓰기(Write) 후 5분간 90~95% 할인된 Cache Read를 유도합니다.
# AWS Bedrock Converse API: Global Inference Profile + Prompt Caching 예시 (Python boto3)
import boto3
client = boto3.client("bedrock-runtime", region_name="us-east-1")
response = client.converse(
# 단일 리전(us.) 대신 global. 프로파일을 지정해 10% 리전 할증 제거
modelId="global.anthropic.claude-sonnet-5-5-v1:0",
system=[
{"text": "<긴 사내 규정 및 Few-shot 예시 4,000토큰 이상>"},
{"cachePoint": {"type": "default"}} # 이 지점까지 캐시 고정
],
messages=[
{"role": "user", "content": [{"text": "이번 분기 환불 규정 예외 조항을 요약해줘."}]}
]
)
# 응답 usage에서 cacheReadInputTokens 비율을 CloudWatch 커스텀 메트릭으로 추적
print(response["usage"])
주의할 점은 캐시 적중이 완전 일치(Exact Prefix Match) 기반이라는 것입니다. 시스템 프롬프트 맨 앞에 현재 시각(timestamp)이나 요청별 request_id 같은 동적 변수를 넣으면 매번 캐시가 깨져 오히려 Cache Write 할증(기본 입력의 1.25배)만 내게 됩니다. 동적 데이터는 반드시 cachePoint 뒤쪽인 messages에 배치해야 합니다.
② OpenAI Flex 티어 + Standard 자동 폴백 패턴
OpenAI Direct API의 Flex 티어는 Batch API와 동일한 50% 할인을 실시간 동기 요청으로 제공합니다. 다만 클라우드 유휴 용량을 활용하므로 피크 시간대에 429 Resource Unavailable이 반환될 수 있습니다(실패 시 과금 0원). 백그라운드 데이터 보강이나 내부 분석 파이프라인에는 아래처럼 service_tier="flex"를 우선 호출하고, 429 발생 시에만 auto(Standard)로 폴백하는 래퍼를 두면 안전하게 반값 운영이 가능합니다.
# OpenAI Flex 티어 우선 호출 및 429 발생 시 Standard 폴백
from openai import OpenAI, RateLimitError
client = OpenAI()
def call_cost_optimized(messages, model="gpt-6-astra"):
try:
return client.chat.completions.create(
model=model,
messages=messages,
service_tier="flex", # 50% 할인 티어 우선 시도
timeout=60.0,
)
except RateLimitError:
# 유휴 용량 부족(429) 시 과금 없이 즉시 Standard 티어로 재시도
return client.chat.completions.create(
model=model,
messages=messages,
service_tier="auto",
)
4. 팀 상황별 최종 선택 기준과 체크리스트
엔터프라이즈 AI FinOps에서는 단일 플랫폼 고집보다 워크로드 성격에 따른 하이브리드 라우팅이 가장 유리합니다.
- AWS Bedrock이 유리한 경우: 이미 AWS 계정 약정(EDP) 할인과 IAM·VPC PrivateLink 보안 경계를 그대로 써야 하고, 99.9% SLA와 Cost Explorer 팀별 태그 정산이 필수인 엔터프라이즈 백엔드. (단,
global.엔드포인트 사용 필수) - Google Vertex AI가 유리한 경우: Gemini Flash 계열의 압도적인 저단가와 1M 대용량 컨텍스트를 대량 처리해야 하는 파이프라인. (단, Thinking 토큰 출력 과금 및 200K 초과 2배 구간 모니터링 필수)
- OpenAI Direct API가 유리한 경우: 최신 플래그십 모델(GPT-6.1 Sol 등)을 즉시 도입해야 하거나, Batch·Flex 50% 할인을 전 모델에 일관되게 적용해 순수 토큰 단가를 최소화하려는 AI 네이티브 서비스.
API 호출 비용만큼이나 간과하기 쉬운 것이 대용량 배치 파일(JSONL)의 클라우드 스토리지 전송 비용과 운영 모니터링 스택 비용입니다. Bedrock Batch 입력용 S3 버킷의 외부 전송 요금을 줄이려면 클라우드 스토리지 Egress 요금 비교(AWS S3 vs Cloudflare R2)를, 토큰 사용량과 429 에러율을 저비용으로 추적하려면 클라우드 모니터링 비용 비교(Datadog vs Prometheus·Loki) 가이드를 함께 점검해 보시기 바랍니다.

