5장: 로그 통합과 상관관계

import logging
from opentelemetry import trace
from opentelemetry.sdk._logs import LoggerProvider, LoggingHandler
from opentelemetry.sdk._logs.export import BatchLogRecordProcessor
from opentelemetry.exporter.otlp.proto.grpc._log_exporter import OTLPLogExporter
from opentelemetry.sdk.resources import Resource
 
# 리소스 정의
resource = Resource.create({
    "service.name": "user-service",
    "service.version": "1.2.0",
})
 
# LoggerProvider 초기화
logger_provider = LoggerProvider(resource=resource)
logger_provider.add_log_record_processor(
    BatchLogRecordProcessor(
        OTLPLogExporter(endpoint="http://collector:4317")
    )
)
 
# Python logging에 OTel 핸들러 추가
handler = LoggingHandler(
    level=logging.INFO,
    logger_provider=logger_provider,
)
 
# 기존 로거에 핸들러 연결
logger = logging.getLogger("user-service")
logger.addHandler(handler)
logger.setLevel(logging.INFO)

from opentelemetry import trace
 
tracer = trace.get_tracer("user-service")
logger = logging.getLogger("user-service")
 
def get_user(user_id):
    with tracer.start_as_current_span("get-user") as span:
        span.set_attribute("user.id", user_id)
        
        logger.info("사용자 조회 시작", extra={"user_id": user_id})
        
        try:
            user = db.find_user(user_id)
            logger.info("사용자 조회 성공", extra={"user_id": user_id})
            return user
        except UserNotFoundError:
            logger.warning("사용자를 찾을 수 없음", extra={"user_id": user_id})
            raise
        except Exception as e:
            logger.error("사용자 조회 실패", extra={"user_id": user_id, "error": str(e)})
            raise

package main
 
import (
    "context"
    "log/slog"
 
    "go.opentelemetry.io/contrib/bridges/otelslog"
    "go.opentelemetry.io/otel"
)
 
func main() {
    // OTel LoggerProvider 설정 (생략)
    
    // slog에 OTel 핸들러 연결
    handler := otelslog.NewHandler("my-service")
    logger := slog.New(handler)
    slog.SetDefault(logger)
    
    // 기존 방식으로 로그 작성 -- trace_id 자동 주입
    tracer := otel.Tracer("my-service")
    ctx, span := tracer.Start(context.Background(), "process-request")
    defer span.End()
    
    slog.InfoContext(ctx, "요청 처리 시작",
        slog.String("request.id", "req-001"),
        slog.Int("retry.count", 0),
    )
}

2026-03-23 14:30:22 ERROR Failed to process order ORD-123 for user usr-456: insufficient funds

{
  "timestamp": "2026-03-23T14:30:22.123Z",
  "severity": "ERROR",
  "body": "Failed to process order",
  "attributes": {
    "order.id": "ORD-123",
    "user.id": "usr-456",
    "error.type": "InsufficientFundsError",
    "payment.amount": 50000,
    "payment.balance": 30000
  },
  "trace_id": "4bf92f3577b34da6a3ce929d0e0e4736",
  "span_id": "00f067aa0ba902b7"
}

# 나쁜 예 -- 가변 데이터가 메시지에 포함
logger.error(f"주문 {order_id} 결제 실패: {error_message}, 금액: {amount}")
 
# 좋은 예 -- 고정 메시지 + 구조화 속성
logger.error(
    "주문 결제 실패",
    extra={
        "order.id": order_id,
        "error.message": error_message,
        "payment.amount": amount,
        "payment.currency": "KRW",
    }
)

# 개발 환경 -- 상세 디버깅 가능
development:
  default_level: DEBUG
  noisy_libraries: INFO     # ORM, HTTP 클라이언트 등
 
# 스테이징 환경 -- 프로덕션과 유사하되 INFO 허용
staging:
  default_level: INFO
  noisy_libraries: WARN
 
# 프로덕션 환경 -- 비용 최적화
production:
  default_level: INFO
  noisy_libraries: ERROR
  high_traffic_paths: WARN   # 초당 수천 건 발생하는 경로

processors:
  filter/logs:
    logs:
      log_record:
        # DEBUG 로그 제거
        - severity_number < 9
        
  attributes/logs:
    actions:
      # 민감 정보 마스킹
      - key: user.email
        action: hash
      - key: request.body
        action: delete
        
service:
  pipelines:
    logs:
      receivers: [otlp]
      processors: [filter/logs, attributes/logs, batch]
      exporters: [otlp/loki]

processors:
  filter/healthcheck:
    logs:
      log_record:
        # 헬스 체크 로그 제거
        - IsMatch(body, ".*healthcheck.*")
        - IsMatch(body, ".*readiness.*")
  
  transform/truncate:
    log_statements:
      - context: log
        statements:
          # 로그 본문이 4KB를 초과하면 잘라내기
          - truncate_all(attributes, 4096)