반응형

오픈소스 LLM(Llama, Qwen, Mistral)을 자체 서빙하거나 LoRA 파인튜닝을 돌릴 때 인프라 팀이 가장 먼저 마주하는 현실은 GPU 시간당 단가 격차입니다. 같은 NVIDIA H100 80GB라도 AWS EC2(P5)의 On-Demand 환산 단가는 시간당 $12.29에 달하는 반면, GPU 특화 클라우드인 RunPod Secure Cloud는 $2.89~$4.39, Lambda Labs는 $3.79~$4.89 선에서 과금됩니다. 단순 계산으로만 3배에서 4배 가까운 차이가 벌어집니다.

하지만 시간당 GPU 단가표만 보고 특화 클라우드로 옮겼다가 모델 가중치 스토리지 상시 과금, VPC 연동 지연, Spot 회수에 따른 체크포인트 유실로 오히려 총소유비용(TCO)이 늘어나는 경우도 적지 않습니다. 반대로 AWS에서 VRAM 용량 계산 없이 상위 인스턴스를 띄웠다가 유휴 메모리를 방치하거나, vLLM 실행 직후 CUDA out of memory를 만나 인스턴스를 한 단계 더 올리는 낭비도 흔합니다. 이 글에서는 AWS EC2, RunPod, Lambda Labs의 실제 과금 구조를 대조하고, vLLM KV Cache 튜닝으로 VRAM 점유율을 낮춰 GPU 등급을 한 단계 낮추는 실전 설정을 정리합니다.


1. AWS EC2 vs RunPod vs Lambda Labs GPU 요금 비교

세 사업자의 과금 모델은 타깃 워크로드가 다릅니다. AWS EC2는 8GPU 묶음(P5, P4d) 중심의 엔터프라이즈 예약·VPC 통합에 최적화돼 있고, RunPod은 단일 GPU·초 단위 과금·Serverless(Scale-to-Zero)로 소규모 추론과 실험을 겨냥합니다. Lambda Labs는 베어메탈에 가까운 단일·멀티 GPU 인스턴스를 중간 단가로 제공하지만 인기 리전의 재고 변동이 잦은 편입니다.

GPU 모델 (VRAM) AWS EC2 (On-Demand) RunPod (Secure Cloud) Lambda Labs (On-Demand)
H100 SXM (80GB) p5.48xlarge (8x)
$98.32/hr (GPU당 $12.29)
1년 약정 시 약 $62.24/hr
단일 GPU 선택 가능
$4.39/hr (Community $2.69)
초 단위 과금
단일 $4.89/hr
8x HGX $4.59/GPU/hr
분 단위 과금
H100 PCIe (80GB) 미제공 (SXM 기반 P5 위주) $2.89/hr (Community $1.99)
Serverless 활성 시 ~$4.55/hr
단일 $3.79/hr
(26 vCPU, 225GiB RAM)
A100 SXM/PCIe (80GB) p4de.24xlarge (8x)
$40.97/hr (GPU당 $5.12)
PCIe $2.09/hr (Comm. $1.19)
SXM $2.19/hr (Comm. $1.39)
8x HGX 80GB $3.19/GPU/hr
단일 40GB 모델 $1.99/hr
A10G / A10 (24GB) g5.xlarge (1x A10G)
$1.006/hr (Spot $0.30~$0.50)
RTX 4090(24GB) $0.69~$0.89/hr
L40S(48GB) $1.09/hr
1x A10 (24GB)
$1.29/hr
핵심 부대 비용 변수 EBS 스토리지·NAT Gateway·인터넷 Egress($0.09/GB) 별도 Network Volume 유휴 시에도 GB당 월 과금, 콜드 스타트 지연 로컬 NVMe 포함, 영구 파일시스템 과금·인스턴스 재고 제한
반응형

2. 시간당 단가 외에 청구서를 키우는 숨은 변수 3가지

① 단일 GPU 가용성과 최소 과금 단위

AWS의 고대역폭 80GB VRAM 라인업인 p5.48xlarge와 p4de.24xlarge는 기본적으로 8GPU 단위 할당이 표준입니다. 70B 급 모델 하나를 FP16이나 AWQ로 추론하는 데 필요한 VRAM은 40~140GB 수준인데, 8GPU 노드를 통째로 점유하면 시간당 $40~$98이 고정으로 빠져나갑니다. 반면 RunPod이나 Lambda Labs는 단일 H100이나 L40S(48GB) 1장만 빌릴 수 있어, 중소형 추론 서버의 고정비 장벽이 크게 낮아집니다.

② 유휴 대기 비용 vs 콜드 스타트 지연

트래픽이 24시간 균일하지 않다면 상시 Pod이나 EC2 인스턴스를 켜두는 방식은 비효율적입니다. RunPod Serverless는 활성 요청을 처리하는 초 단위로만 과금(H100 기준 시간당 약 $4.55 환산)되어 일일 호출량이 적은 API에 유리하지만, 컨테이너가 0개로 축소된 뒤 첫 요청에서 모델 가중치를 내려받아 VRAM에 올리는 수십 초의 콜드 스타트가 발생합니다. 반면 AWS 내부 VPC의 S3·RDS와 저지연으로 붙어야 하는 사내 서비스라면 외부 GPU 클라우드 왕복 레이턴시와 클라우드 데이터 전송(Egress) 요금을 반드시 계산에 넣어야 합니다.

③ AWS EC2 Spot과 컨테이너 오케스트레이션 결합

이미 AWS 인프라에 결합된 팀이라면 g5.xlarge나 g5.12xlarge(4x A10G, 96GB VRAM)를 Spot 인스턴스로 확보하는 편이 단가 면에서 경쟁력이 있습니다. On-Demand 대비 50~70% 할인된 시간당 $0.30~$0.50(g5.xlarge 기준) 수준까지 내려가며, AWS ECS·EKS Spot 인스턴스 운영 전략과 결합하면 배치 추론이나 파인튜닝 비용을 크게 줄일 수 있습니다. 다만 Spot 회수 알림(2분) 내에 모델 체크포인트를 S3로 밀어 올리는 훅을 구성하지 않으면 장시간 학습이 통째로 증발합니다.


3. 실전 트러블슈팅: vLLM VRAM OOM 해결 및 GPU 등급 낮추기

GPU 비용 절감에서 가장 확실한 레버는 클라우드 사업자 변경이 아니라 필요한 VRAM 용량을 줄여 하위 GPU(예: 80GB A100 → 48GB L40S 또는 24GB A10G)로 내려가는 것입니다. vLLM은 기본 설정에서 전체 VRAM의 90%를 미리 점유(gpu_memory_utilization=0.9)하고, 모델의 최대 컨텍스트 길이(예: Llama-3 8B/70B의 128K) 기준으로 KV Cache 블록을 사전 할당하려다 torch.cuda.OutOfMemoryError 또는 ValueError: No available memory for the cache blocks를 일으킵니다.

실전 vLLM 메모리 최적화 실행 플래그

실제 서비스에서 입력+출력 토큰이 8,192토큰을 넘지 않는다면 --max-model-len을 제한하고, KV Cache를 FP8로 양자화하며(--kv-cache-dtype fp8), 가중치 양자화(AWQ/FP8)를 함께 적용해 24GB~48GB GPU에 안정적으로 안착시킬 수 있습니다.

# 1. VRAM 점유 상태 및 OOM 원인 확인
nvidia-smi --query-gpu=name,memory.total,memory.used,memory.free --format=csv

# 2. vLLM VRAM OOM 방지 및 48GB(L40S) / 24GB(A10G) 최적화 실행 예시
python3 -m vllm.entrypoints.openai.api_server \n  --model casperhansen/llama-3.1-8b-instruct-awq \n  --quantization awq \n  --dtype float16 \n  --kv-cache-dtype fp8 \n  --max-model-len 8192 \n  --max-num-seqs 32 \n  --gpu-memory-utilization 0.88 \n  --enable-chunked-prefill \n  --port 8000

위 설정에서 --max-model-len 8192는 128K 전체 컨텍스트용 KV Cache 예약 폭주를 막아주고, --kv-cache-dtype fp8은 KV Cache 메모리 사용량을 FP16 대비 약 절반으로 줄입니다. 또한 --gpu-memory-utilization 0.88은 PyTorch CUDA 컨텍스트나 동시 실행 프로세스를 위한 12% 여유분을 남겨 간헐적 OOM을 차단합니다. 컨테이너 이미지 풀링과 모델 가중치 다운로드 트래픽이 잦다면 AWS NAT Gateway 비용 및 VPC Endpoint 절감 가이드를 참고해 S3·ECR 트래픽이 유료 게이트웨이를 타지 않도록 라우팅을 점검하는 것도 중요합니다.

반응형

4. 워크로드별 GPU 클라우드 선택 기준

워크로드 유형 권장 인프라 구성 선택 근거 및 비용 포인트
간헐적 추론 API · PoC
(일 가동 4시간 미만)
RunPod Serverless 또는 단일 Secure Cloud Pod Scale-to-Zero로 유휴 비용 제거. 단, 콜드 스타트 허용 범위(15~40초) 사전 검증 필요
단발성 파인튜닝 · 멀티 GPU 실험
(수일~2주 집중 실행)
Lambda Labs 또는 RunPod H100 PCIe/SXM AWS On-Demand 대비 시간당 60~70% 저렴. 종료 시 스토리지 정리 필수
24시간 사내 VPC 연동 서빙
(보안·컴플라이언스 필수)
AWS EC2 G5/G6 + 1년 Savings Plans 또는 Spot VPC 내부망 보안과 S3·RDS 저지연 유지. vLLM 양자화로 A10G(24GB) 내 수용 목표

결국 GPU 클라우드 비용 최적화는 단순히 가장 싼 시간당 단가를 찾는 작업이 아닙니다. vLLM의 max-model-len과 kv-cache-dtype을 먼저 줄여 필요한 VRAM 총량을 확정한 뒤, 간헐적 호출은 RunPod Serverless로, 집중 파인튜닝은 Lambda Labs·RunPod 온디맨드로, 사내 데이터 연동 상시 서빙은 AWS EC2 Spot·약정으로 분리 배치할 때 가장 예측 가능한 월간 청구서를 만들 수 있습니다.

반응형
Posted by Real_G