AI / ML22분 읽기
10장: 프로덕션 하네스 통합 전략
전체 하네스 계층 통합, 하네스 성숙도 모델, CI/CD 파이프라인 통합, CLAUDE.md와 AGENTS.md 설계, 팀 협업 전략까지 하네스 엔지니어링의 완결편입니다.
#evaluation
40개의 글
AI / ML19분 읽기
9장: 모니터링 하네스 — 프로덕션 관측과 피드백 루프
토큰 사용량, 지연시간, 비용 추적, 드리프트 감지, 품질 모니터링, 알림 설계, 피드백 루프 등 AI 시스템의 관측 가능성 파이프라인을 다룹니다.
AI / ML17분 읽기
8장: 배포 하네스 — 안전한 모델 릴리즈
카나리 배포, 섀도우 테스팅, A/B 테스트, 블루-그린 배포, 롤백 전략 등 AI 시스템을 프로덕션에 안전하게 배포하는 전략을 다룹니다.
AI / ML16분 읽기
7장: 오케스트레이션 하네스 — 워크플로우 제어
에이전트 라이프사이클 관리, 도구 오케스트레이션, 서브에이전트 관리, 상태 관리, 에러 복구 등 복잡한 AI 워크플로우를 조율하는 방법을 다룹니다.
AI / ML18분 읽기
10장: CI/CD 통합과 품질 게이트 구축
GitHub Actions에 평가 파이프라인을 통합하고, 품질 게이트를 설계하고, 회귀 테스트를 자동화합니다. 프롬��트 변경 감지, 드리프트 모니터링까지 종합 평가 CI/CD 파이프라인을 구축합니다.
AI / ML17분 읽기
6장: 가드레일 하네스 — 안전 장치 설계와 구현
프롬프트 인젝션 방어, 유해 콘텐츠 필터링, Guardrails AI와 NeMo Guardrails 프레임워크, 다계층 방어 전략을 통해 AI 시스템의 안전을 보장하는 방법을 다룹니다.
AI / ML19분 읽기
10장: 실전 프로젝트 — 에이전트 품질 보증 파이프라인
단위 테스트부터 프로덕션 모니터링까지 전체 에이전트 품질 보증 파이프라인을 구축하고, 도입 체크리스트와 성숙도 모델을 제시합니다.
AI / ML17분 읽기
9장: 자동화된 모델 비교 파이프라인
ELO 레이팅과 리더보드 구현, A/B 테스트 자동화, 비용/지연시간/품질 트레이드오프 분석, 모델 선택 자동화, 비교 리포트 자동 생성까지 모델 비교 파이프라인을 구축합니다.
AI / ML14분 읽기
5장: 평가 하네스 — 모델 성능 측정 파이프라인
lm-evaluation-harness, Inspect AI, HELM 프레임워크 분석과 커스텀 평가 하네스 설계, 벤치마크 스위트 구성, 자동화된 모델 비교 방법을 다룹니다.
AI / ML18분 읽기
9장: CI/CD 통합과 품질 게이트
GitHub Actions에서 에이전트 테스트를 실행하고, 품질 게이트 임계값을 설계하며, PR별 평가와 온라인 평가를 연결하는 자동화 전략을 다룹니다.
AI / ML18분 읽기
8장: 벤치마크 스위트 설계 원칙과 실전
벤치마크 오염 문제, 좋은 벤치마크의 조건, 다차원 평가 설계, 도메인별 벤치마크 구축, 데이터셋 버전 관리, 통계적 유의성 검증까지 벤치마크 스위트 설계의 전체를 다룹니다.
AI / ML17분 읽기
4장: 테스트 하네스 — AI 시스템의 품질 보증
비결정적 출력 테스트, 스냅샷 테스트, 속성 기반 테스트, 회귀 테스트, 에이전트 행동 테스트 등 AI 시스템 테스트의 핵심 기법을 다룹니다.
AI / ML19분 읽기
8장: 에이전트 시뮬레이션과 레드티밍
시뮬레이션 사용자 기반 적대적 테스트, 엣지 케이스 자동 생성, 스트레스 테스트, 안전성 가드레일 검증, 자동 레드티밍 기법을 다룹니다.
AI / ML19분 읽기
7장: 커스텀 평가 하네스 설계와 구축
도메인 특화 평가 하네스를 처음부터 설계하고 구축합니다. 평가 태스크 설계, 메트릭 정의, LLM-as-Judge 구현, 인간 평가 통합, Golden Dataset 관리를 코드와 함께 실습합니다.
AI / ML17분 읽기
3장: AI 모델 래핑과 입출력 제어
모델 추상화 계층 설계, 프롬프트 구성과 컨텍스트 주입, 스키마 기반 출력 제어, 폴백 전략 등 AI 모델의 입출력을 체계적으로 관리하는 방법을 다룹니다.
AI / ML17분 읽기
7장: 에이전트 안정성 메트릭
태스크 성공률 추이, 행동 드리프트 감지, 응답 길이 변동, 지연시간 안정성, 비용 변동성 등 에이전트의 장기적 안정성을 추적하는 메트릭과 대시보드 설계를 다룹니다.
AI / ML17분 읽기
6장: 평가 도구 생태계 비교와 선택 기준
DeepEval, promptfoo, Evidently AI, W&B Weave, LangSmith, Ragas 등 실무 평가 도구를 비교합니다. 학술 vs 실무 평가의 차이점과 프레임워크 선택 의사결정 트리를 제시합니다.
AI / ML21분 읽기
2장: 하네스 아키텍처 설계 패턴
래핑, 미들웨어, 사이드카, 파이프라인, 이벤트 기반 등 AI 시스템 하네스의 5가지 핵심 아키텍처 패턴과 적용 시나리오를 분석합니다.
AI / ML16분 읽기
6장: 회귀 테스트 자동화
평가를 회귀 테스트로 졸업시키는 패턴, Golden Dataset 관리, 롤링 성공률 모니터링, 베이스라인 관리와 변경 영향 분석을 다룹니다.
AI / ML17분 읽기
5장: Inspect AI - 에이전트 수준 평가
UK AISI의 Inspect AI를 분석합니다. 에이전트 벤치마크 GAIA, SWE-Bench, Cybench의 실행, 샌드박싱 환경, 태스크/솔버/스코러 아키텍처, 멀티에이전트 평가까지 다룹니다.
AI / ML17분 읽기
1장: 하네스 엔지니어링의 등장과 핵심 개념
AI 에이전트에서 모델을 감싸는 모든 것, 하네스 엔지니어링의 정의와 등장 배경, 그리고 5가지 핵심 역할을 살펴봅니다.
AI / ML17분 읽기
5장: 비결정적 출력 평가
LLM-as-Judge 패턴으로 에이전트의 비결정적 출력을 평가하는 방법, 품질 차원별 점수 산출, 임계값 설정, pass@k 전략을 상세히 다룹니다.
AI / ML16분 읽기
4장: HELM - 종합적 모델 평가 프레임워크
Stanford CRFM의 HELM을 분석합니다. 7가지 메트릭 차원, 16가지 핵심 시나리오, HELM Lite와 MedHELM 변형, 실행 방법과 결과 분석까지 종합적 평가 접근법을 탐구합니다.
AI / ML18분 읽기
4장: 엔드투엔드 시나리오 테스트
사용자 시뮬레이션 기반 멀티턴 대화 테스트, 워크플로우 완료 검증, 반복 호출 및 모순적 계획 감지 등 E2E 시나리오 테스트의 전체 방법론을 다룹니다.
AI / ML14분 읽기
3장: lm-evaluation-harness 심층 분석
EleutherAI의 lm-evaluation-harness를 심층 분석합니다. 200개 이상의 태스크, 25개 이상의 모델 백엔드, HuggingFace 리더보드 백엔드로서의 역할, 설치부터 커스텀 태스크 작성까지 실전 가이드를 제공합니다.
AI / ML18분 읽기
3장: 도구 호출 검증
에이전트의 도구 호출 정확성을 이름, 파라미터, 출력의 3단계로 검증하는 방법과 모킹 전략, 도구 체인 순서 검증, 불필요한 호출 감지 기법을 다룹니다.
AI / ML18분 읽기
2장: 평가 하네스 아키텍처와 핵심 개념
평가 하네스의 내부 구조를 해부합니다. 태스크 정의 시스템, 모델 백엔드 추상화, 실행 엔진의 배칭과 병렬화, 결과 집계와 리포팅까지 설계 패턴을 코드와 함께 분석합니다.
AI / ML17분 읽기
2장: 에이전트 행동 테스트 프레임워크
Scenario, Agentest, Inspect AI, Braintrust 등 주요 에이전트 테스트 프레임워크를 비교하고, 프로젝트 특성에 맞는 선택 기준과 환경 설정 방법을 안내합니다.
AI / ML17분 읽기
1장: AI 평가의 현재와 평가 하네스의 역할
300개 이상의 모델과 50개 이상의 벤치마크가 공존하는 시대, AI 평가 하네스가 왜 필요한지 그 정의와 핵심 구성요소, 평가 생태계 전체 지도를 살펴봅니다.
AI / ML17분 읽기
1장: AI 에이전트 테스트의 필요성과 과제
결정론적 소프트웨어와 비결정적 AI 에이전트의 근본적 차이를 짚고, 전통적 QA 방법론의 한계와 에이전트 전용 3단계 테스트 모델을 소개합니다.
AI / ML22분 읽기
10장: 실전 프로젝트 - 종합 평가 모니터링 시스템 구축
지금까지 다룬 평가 메트릭, LLM-as-Judge, 모니터링, CI/CD를 통합하여 프로덕션 수준의 종합 평가 시스템을 구축합니다.
AI / ML15분 읽기
9장: CI/CD에 평가 파이프라인 통합
LLM 평가를 CI/CD 파이프라인에 통합하여, 프롬프트 변경과 모델 교체 시 자동으로 품질을 검증하는 체계를 구축합니다.
AI / ML16분 읽기
8장: 드리프트 감지와 품질 모니터링
LLM 애플리케이션의 입력 분포 변화, 모델 성능 저하, 데이터 드리프트를 감지하고 대응하는 방법을 다룹니다.
AI / ML14분 읽기
7장: 프로덕션 로깅과 관찰 가능성
LLM 애플리케이션의 프로덕션 환경에서 구조화된 로깅, 분산 트레이싱, 관찰 가능성을 구축하는 방법을 다룹니다.
AI / ML15분 읽기
6장: A/B 테스트와 온라인 실험
LLM 애플리케이션에서 A/B 테스트를 설계하고 실행하는 방법, 통계적 유의성 판단, 실험 결과 해석을 다룹니다.
AI / ML20분 읽기
5장: 인간 평가와 어노테이션 설계
LLM 평가에서 인간 평가의 역할, 어노테이션 가이드라인 설계, 평가자 간 일치도 관리 방법을 체계적으로 다룹니다.
AI / ML17분 읽기
4장: LLM-as-Judge - LLM으로 LLM 평가하기
LLM을 평가자로 활용하는 LLM-as-Judge 기법의 원리, 프롬프트 설계, 편향 완화 전략을 체계적으로 다룹니다.
AI / ML20분 읽기
3장: 자동 평가 파이프라인 구축
코드 기반 메트릭과 벤치마크 자동화로 LLM 애플리케이션의 품질을 체계적으로 측정하는 평가 파이프라인을 구축합니다.
AI / ML19분 읽기
2장: 평가 메트릭 설계 - 정확성, 관련성, 안전성
LLM 애플리케이션의 품질을 수치화하는 핵심 메트릭을 설계하고, 작업 유형별로 적절한 메트릭을 선택하는 방법을 다룹니다.
AI / ML17분 읽기
1장: LLM 평가의 필요성과 전체 프레임워크
LLM 애플리케이션을 프로덕션에서 안정적으로 운영하기 위해 평가와 모니터링이 왜 필수인지, 전체 프레임워크를 체계적으로 소개합니다.