인프라14분 읽기
11장: 실전 프로젝트 -- 관측 가능성 플랫폼 구축
마이크로서비스 계측, AI 서비스 관측, SLO 알림을 종합하여 전체 관측 가능성 플랫폼을 구축하고, 운영 체크리스트와 비용 최적화 전략을 정리합니다.
#monitoring
21개의 글
인프라15분 읽기
10장: SLO 기반 알림 설계
SLI/SLO/에러 버짓의 개념을 정립하고, 번 레이트 알림(fast-burn/slow-burn), Prometheus 알림 규칙, Grafana 알림 채널을 설계합니다.
인프라12분 읽기
9장: AI 서비스 관측 가능성
LLM 호출 추적, 토큰 사용량/비용 모니터링, AI 에이전트 행동 추적, LangChain/LlamaIndex OTel 통합을 통한 AI 관측 가능성을 학습합니다.
인프라12분 읽기
8장: Grafana, Jaeger, Prometheus 연동
Jaeger로 분산 추적을 시각화하고, Prometheus로 메트릭을 저장/쿼리하며, Grafana로 통합 대시보드를 구성합니다. Docker Compose로 전체 스택을 실습합니다.
인프라13분 읽기
7장: Collector 아키텍처와 배포
OTel Collector의 Receiver/Processor/Exporter 파이프라인, 핵심 프로세서 활용법, Kubernetes 환경에서의 DaemonSet/Deployment 배포를 학습합니다.
인프라11분 읽기
6장: OTel SDK 계측 실전
자동 계측과 수동 계측의 차이를 이해하고, Python/Node.js/Go 각 언어별 SDK 활용법과 커스텀 스팬/메트릭 생성을 실습합니다.
인프라14분 읽기
5장: 로그 통합과 상관관계
OpenTelemetry 로그 데이터 모델, 로그-트레이스 상관관계, 기존 로거 브릿지(Python logging, Go slog), 구조화 로그와 로그 레벨 전략을 학습합니다.
인프라14분 읽기
4장: 메트릭(Metrics) 수집과 분석
OpenTelemetry 메트릭의 종류(Counter, Gauge, Histogram), 카디널리티 관리, Exemplars를 통한 메트릭-트레이스 연결, Prometheus 호환을 학습합니다.
인프라15분 읽기
3장: 분산 추적(Distributed Tracing)
스팬의 내부 구조와 종류, 부모-자식 관계, 샘플링 전략(Head/Tail/Rate)을 학습하고 Python으로 분산 추적을 직접 구현합니다.
인프라16분 읽기
2장: OpenTelemetry 아키텍처 심층 분석
OpenTelemetry의 API/SDK/Collector 3계층 구조, W3C TraceContext 기반 컨텍스트 전파, 리소스와 시맨틱 컨벤션, 배포 패턴을 심층적으로 분석합니다.
인프라18분 읽기
1장: 관측 가능성의 진화와 OpenTelemetry
로깅에서 APM, 관측 가능성으로 이어지는 모니터링의 진화를 살펴보고, OpenTelemetry가 탄생한 배경과 3대 신호, 벤더 중립의 가치를 이해합니다.
AI / ML22분 읽기
10장: 실전 프로젝트 - 종합 평가 모니터링 시스템 구축
지금까지 다룬 평가 메트릭, LLM-as-Judge, 모니터링, CI/CD를 통합하여 프로덕션 수준의 종합 평가 시스템을 구축합니다.
AI / ML15분 읽기
9장: CI/CD에 평가 파이프라인 통합
LLM 평가를 CI/CD 파이프라인에 통합하여, 프롬프트 변경과 모델 교체 시 자동으로 품질을 검증하는 체계를 구축합니다.
AI / ML16분 읽기
8장: 드리프트 감지와 품질 모니터링
LLM 애플리케이션의 입력 분포 변화, 모델 성능 저하, 데이터 드리프트를 감지하고 대응하는 방법을 다룹니다.
AI / ML14분 읽기
7장: 프로덕션 로깅과 관찰 가능성
LLM 애플리케이션의 프로덕션 환경에서 구조화된 로깅, 분산 트레이싱, 관찰 가능성을 구축하는 방법을 다룹니다.
AI / ML15분 읽기
6장: A/B 테스트와 온라인 실험
LLM 애플리케이션에서 A/B 테스트를 설계하고 실행하는 방법, 통계적 유의성 판단, 실험 결과 해석을 다룹니다.
AI / ML20분 읽기
5장: 인간 평가와 어노테이션 설계
LLM 평가에서 인간 평가의 역할, 어노테이션 가이드라인 설계, 평가자 간 일치도 관리 방법을 체계적으로 다룹니다.
AI / ML17분 읽기
4장: LLM-as-Judge - LLM으로 LLM 평가하기
LLM을 평가자로 활용하는 LLM-as-Judge 기법의 원리, 프롬프트 설계, 편향 완화 전략을 체계적으로 다룹니다.
AI / ML20분 읽기
3장: 자동 평가 파이프라인 구축
코드 기반 메트릭과 벤치마크 자동화로 LLM 애플리케이션의 품질을 체계적으로 측정하는 평가 파이프라인을 구축합니다.
AI / ML19분 읽기
2장: 평가 메트릭 설계 - 정확성, 관련성, 안전성
LLM 애플리케이션의 품질을 수치화하는 핵심 메트릭을 설계하고, 작업 유형별로 적절한 메트릭을 선택하는 방법을 다룹니다.
AI / ML17분 읽기
1장: LLM 평가의 필요성과 전체 프레임워크
LLM 애플리케이션을 프로덕션에서 안정적으로 운영하기 위해 평가와 모니터링이 왜 필수인지, 전체 프레임워크를 체계적으로 소개합니다.