10장: SLO 기반 알림 설계

SLO 예시:
- 가용성: 월간 99.9% (한 달에 43분의 다운타임 허용)
- 지연 시간: p99 응답 시간 500ms 이내, 월간 99.5%
- AI 서비스: LLM 응답 시간 5초 이내, 월간 99.0%

30일 기준 에러 버짓 계산:
- 99.9% SLO → 0.1% 에러 버짓 → 30일 x 24시간 x 60분 x 0.001 = 43.2분
- 99.5% SLO → 0.5% 에러 버짓 → 30일 x 24시간 x 60분 x 0.005 = 216분 (3.6시간)
- 99.0% SLO → 1.0% 에러 버짓 → 30일 x 24시간 x 60분 x 0.01 = 432분 (7.2시간)

from opentelemetry import metrics
 
meter = metrics.get_meter("sli-service")
 
# 전체 요청 수 (성공 + 실패)
request_total = meter.create_counter(
    "sli.request.total",
    description="Total number of requests for SLI calculation",
)
 
# 성공 요청 수 (SLI 기준의 "좋은" 이벤트)
request_good = meter.create_counter(
    "sli.request.good",
    description="Number of good requests (non-5xx)",
)
 
def record_request(status_code: int, method: str, endpoint: str):
    attrs = {"http.method": method, "sli.endpoint": endpoint}
    request_total.add(1, attrs)
    
    # 5xx가 아닌 응답은 "좋은" 요청으로 간주
    if status_code < 500:
        request_good.add(1, attrs)

# 응답 시간 히스토그램 -- SLO 임계값에 맞는 버킷 설정
request_duration = meter.create_histogram(
    "sli.request.duration",
    description="Request duration for latency SLI",
    unit="s",
)
 
# 사용 시 PromQL로 SLI 계산:
# sum(rate(sli_request_duration_seconds_bucket{le="0.3"}[5m]))
# / sum(rate(sli_request_duration_seconds_count[5m]))

# 가용성 SLI (30일 윈도우)
sum(rate(sli_request_good_total[30d]))
/ sum(rate(sli_request_total_total[30d]))
 
# 지연 시간 SLI (p99가 300ms 이내인 비율)
sum(rate(sli_request_duration_seconds_bucket{le="0.3"}[30d]))
/ sum(rate(sli_request_duration_seconds_count[30d]))
 
# 에러 버짓 잔량 (%)
1 - (
  (1 - (sum(rate(sli_request_good_total[30d])) / sum(rate(sli_request_total_total[30d]))))
  / (1 - 0.999)
)

groups:
  - name: slo-availability
    rules:
      # 에러율 계산을 위한 기록 규칙
      - record: sli:error_rate:1h
        expr: |
          1 - (
            sum(rate(sli_request_good_total[1h]))
            / sum(rate(sli_request_total_total[1h]))
          )
 
      - record: sli:error_rate:5m
        expr: |
          1 - (
            sum(rate(sli_request_good_total[5m]))
            / sum(rate(sli_request_total_total[5m]))
          )
 
      - record: sli:error_rate:6h
        expr: |
          1 - (
            sum(rate(sli_request_good_total[6h]))
            / sum(rate(sli_request_total_total[6h]))
          )
 
      - record: sli:error_rate:30m
        expr: |
          1 - (
            sum(rate(sli_request_good_total[30m]))
            / sum(rate(sli_request_total_total[30m]))
          )
 
      # Fast Burn 알림 (99.9% SLO, 에러 버짓 = 0.001)
      - alert: SLO_HighErrorRate_FastBurn
        expr: |
          sli:error_rate:1h > (14.4 * 0.001)
          and
          sli:error_rate:5m > (14.4 * 0.001)
        for: 2m
        labels:
          severity: critical
          slo: availability
        annotations:
          summary: "가용성 SLO 위반 위험 - 빠른 에러 버짓 소진"
          description: >
            1시간 에러율이 SLO 허용 범위의 14.4배를 초과하고 있습니다.
            이 속도로는 약 1일 내에 월간 에러 버짓이 소진됩니다.
          dashboard: "https://grafana.example.com/d/slo-dashboard"
 
      # Slow Burn 알림
      - alert: SLO_HighErrorRate_SlowBurn
        expr: |
          sli:error_rate:6h > (6 * 0.001)
          and
          sli:error_rate:30m > (6 * 0.001)
        for: 5m
        labels:
          severity: warning
          slo: availability
        annotations:
          summary: "가용성 SLO 서서히 저하 - 느린 에러 버짓 소진"
          description: >
            6시간 에러율이 SLO 허용 범위의 6배를 초과하고 있습니다.
            이 속도로는 약 5일 내에 월간 에러 버짓이 소진됩니다.

groups:
  - name: slo-latency
    rules:
      # p99 지연 시간 SLI 기록 규칙
      - record: sli:latency_good_rate:1h
        expr: |
          sum(rate(sli_request_duration_seconds_bucket{le="0.3"}[1h]))
          / sum(rate(sli_request_duration_seconds_count[1h]))
 
      - record: sli:latency_good_rate:5m
        expr: |
          sum(rate(sli_request_duration_seconds_bucket{le="0.3"}[5m]))
          / sum(rate(sli_request_duration_seconds_count[5m]))
 
      # Fast Burn -- 지연 시간 SLO (99.5%, 에러 버짓 = 0.005)
      - alert: SLO_HighLatency_FastBurn
        expr: |
          (1 - sli:latency_good_rate:1h) > (14.4 * 0.005)
          and
          (1 - sli:latency_good_rate:5m) > (14.4 * 0.005)
        for: 2m
        labels:
          severity: critical
          slo: latency
        annotations:
          summary: "지연 시간 SLO 위반 위험"
          description: >
            300ms 이내 응답 비율이 급격히 하락하고 있습니다.

# 현재 가용성 SLI (30일 윈도우)
sum(rate(sli_request_good_total[30d]))
/ sum(rate(sli_request_total_total[30d]))
 
# 에러 버짓 잔량 (%)
(
  1 - (
    (1 - sum(rate(sli_request_good_total[30d])) / sum(rate(sli_request_total_total[30d])))
    / 0.001
  )
) * 100
 
# 에러 버짓 소진 추이 (시간별)
1 - (
  sum(increase(sli_request_good_total[1h]))
  / sum(increase(sli_request_total_total[1h]))
) / 0.001

apiVersion: 1
contactPoints:
  - name: critical-channel
    receivers:
      - uid: pagerduty-critical
        type: pagerduty
        settings:
          integrationKey: "$PAGERDUTY_KEY"
          severity: critical
      - uid: slack-incidents
        type: slack
        settings:
          url: "$SLACK_WEBHOOK_URL"
          channel: "#incidents"
          title: "SLO Critical Alert"
 
  - name: warning-channel
    receivers:
      - uid: slack-warnings
        type: slack
        settings:
          url: "$SLACK_WEBHOOK_URL"
          channel: "#slo-warnings"
 
policies:
  - receiver: critical-channel
    matchers:
      - severity = critical
    continue: false
    
  - receiver: warning-channel
    matchers:
      - severity = warning
    group_wait: 5m
    repeat_interval: 1h