9장: 비용 vs 지연시간 트레이드오프

$/1M tokens  = GPU 시간당 비용 / (시간당 처리 토큰 수 / 1,000,000)
tokens/$/hr  = 시간당 처리 토큰 수 / GPU 시간당 비용
TCO/token    = 총소유비용 / 전체 기간 처리 토큰 수

모델 가중치 크기 / HBM 대역폭 = 토큰당 최소 시간
 
Llama 3 70B (FP8 = 70GB):
  A100: 70GB / 2.0 TB/s = 35ms/token  → ~28 TPS
  H100: 70GB / 3.35 TB/s = 20.9ms/token → ~48 TPS
  H200: 70GB / 4.8 TB/s = 14.6ms/token → ~68 TPS
  B200: 70GB / 8.0 TB/s = 8.75ms/token → ~114 TPS

GPU    | 시간당 비용 | 70B FP8 TPS | tokens/$ 
A100   | ~$2.5      | ~28         | ~40,320
H100   | ~$4.0      | ~48         | ~43,200
H200   | ~$5.5      | ~68         | ~44,509
B200   | ~$8.0      | ~114        | ~51,300

GPU 활용률이 70%+ 이상으로 예상되는가?
  → 예: 온프레미스 검토 가치 있음
  → 아니오: 클라우드 유리
 
사용 기간이 18개월 이상인가?
  → 예: 온프레미스의 TCO 우위 가능성
  → 아니오: 클라우드 유리
 
데이터 규제가 있는가?
  → 예: 온프레미스 또는 전용 클라우드
  → 아니오: 퍼블릭 클라우드 가능
 
GPU 전문 인력이 있는가?
  → 예: 온프레미스 운영 가능
  → 아니오: 클라우드 관리형 서비스 권장

적합:
  - 배치 처리 (재시도 가능한 워크로드)
  - 벤치마크 / 평가 실행
  - 개발 / 실험 환경
 
부적합:
  - 실시간 서빙 (중단 불가)
  - SLO가 엄격한 프로덕션 서비스

       높은 비용
          |
          |  * 배치=1 (최소 지연, 최고 비용)
          |
          |     * 배치=4
          |
          |        * 배치=16
          |
          |           * 배치=64 (높은 지연, 최저 비용)
          |
       낮은 비용
          +-----------------------------→
             낮은 지연          높은 지연

옵션 A: 70B 모델 (FP8) — H100 x 1
  비용: ~$4/hr
  성능: ~48 TPS (배치=1)
  품질: 벤치마크 85점
 
옵션 B: 8B 모델 (FP8) + 파인튜닝 — H100 x 1
  비용: ~$4/hr (동일 GPU, 하지만 배치를 크게 키울 수 있음)
  성능: ~380 TPS (배치=1), 동시 처리량 훨씬 높음
  품질: 도메인 특화 파인튜닝으로 80-85점 가능
 
비용 효율: 옵션 B가 tokens/$ 기준으로 8-10배 유리

1. 타겟 태스크에서 작은 모델(8-13B)로 충분한 품질이 나오는가?
   → 예: 작은 모델 선택 (비용 최적)
   → 아니오: 2단계
 
2. 파인튜닝으로 작은 모델의 품질을 올릴 수 있는가?
   → 예: 파인튜닝 + 작은 모델 (중기 비용 최적)
   → 아니오: 3단계
 
3. 70B 모델이 필요
   → FP8 양자화 + Continuous Batching + Speculative Decoding
   → 비용 최적화 스택 전체 적용

def estimate_monthly_cost(
    requests_per_day: int,
    avg_input_tokens: int,
    avg_output_tokens: int,
    gpu_cost_per_hour: float,
    tokens_per_second_per_gpu: float,
    target_utilization: float = 0.7,
) -> dict:
    """월간 추론 비용 추정"""
    
    total_tokens_per_day = requests_per_day * (avg_input_tokens + avg_output_tokens)
    
    # 시간당 처리 가능 토큰 (실효)
    effective_tps = tokens_per_second_per_gpu * target_utilization
    tokens_per_hour = effective_tps * 3600
    
    # 필요 GPU 시간
    gpu_hours_per_day = total_tokens_per_day / tokens_per_hour
    
    # 월간 비용
    monthly_gpu_hours = gpu_hours_per_day * 30
    monthly_cost = monthly_gpu_hours * gpu_cost_per_hour
    cost_per_million_tokens = (gpu_cost_per_hour / tokens_per_hour) * 1_000_000
    
    return {
        "monthly_cost": monthly_cost,
        "gpu_hours_per_day": gpu_hours_per_day,
        "cost_per_million_tokens": cost_per_million_tokens,
        "gpus_needed": gpu_hours_per_day / 24,  # 상시 운영 기준
    }
 
# 예시: 챗봇 서비스
result = estimate_monthly_cost(
    requests_per_day=100_000,
    avg_input_tokens=500,
    avg_output_tokens=200,
    gpu_cost_per_hour=4.0,     # H100
    tokens_per_second_per_gpu=2000,  # 배치 처리 기준
    target_utilization=0.7,
)
# 결과:
# monthly_cost: ~$1,428
# cost_per_million_tokens: ~$0.79
# gpus_needed: ~0.50 (1개 GPU로 충분)

1. SLO 정의: TTFT P95 < 300ms, TPOT P95 < 50ms
2. 부하 프로파일: 피크 RPS, 평균 RPS, 입출력 토큰 분포
3. 후보 구성 나열:
   - 70B FP8, H100 x 1, 배치 8-16
   - 70B FP8, H200 x 1, 배치 16-32
   - 8B FP8 파인튜닝, H100 x 1, 배치 32-64
4. 벤치마크: 각 구성에서 SLO 충족 여부 확인
5. 비용 비교: SLO를 충족하는 구성 중 최저 비용 선택