AI / ML23분 읽기
10장: 실전 프로젝트 -- AI 테스트 자동화 파이프라인
단위, 통합, E2E, 시각적, 변이 테스트를 하나의 AI 테스트 자동화 파이프라인으로 통합합니다. Codium, Playwright, Applitools를 결합한 CI/CD 파이프라인과 대시보드, 도입 로드맵, ROI 측정을 다룹니다.
#quality-assurance
20개의 글
AI / ML22분 읽기
9장: Agentic QA -- 자율 테스트 에이전트
유저 스토리에서 Gherkin 시나리오를 거쳐 실행 가능한 테스트로 자동 변환하는 Agentic QA의 아키텍처, 자율 탐색 테스트, Human-on-the-loop 감독 체계, 그리고 품질 게이트 통합을 다룹니다.
AI / ML19분 읽기
10장: 실전 프로젝트 — 에이전트 품질 보증 파이프라인
단위 테스트부터 프로덕션 모니터링까지 전체 에이전트 품질 보증 파이프라인을 구축하고, 도입 체크리스트와 성숙도 모델을 제시합니다.
AI / ML17분 읽기
8장: AI QA 파이프라인 구축
변경 영향 분석 기반 테스트 선택, 위험 기반 우선순위, 플레이키 테스트 자동 격리, 병렬 실행 최적화, 결함 예측, GitHub Actions/GitLab CI 통합을 다루는 AI QA 파이프라인 구축 가이드입니다.
AI / ML18분 읽기
9장: CI/CD 통합과 품질 게이트
GitHub Actions에서 에이전트 테스트를 실행하고, 품질 게이트 임계값을 설계하며, PR별 평가와 온라인 평가를 연결하는 자동화 전략을 다룹니다.
AI / ML16분 읽기
7장: 테스트 유지보수 자동화
테스트 로트(Test Rot) 문제의 근본 원인과 AI 기반 셀프 힐링, 셀렉터 자동 재바인딩, 테스트 코드 리팩터링, 중복 테스트 감지, 커버리지 갭 분석 등 유지보수 비용 절감 전략을 다룹니다.
AI / ML19분 읽기
8장: 에이전트 시뮬레이션과 레드티밍
시뮬레이션 사용자 기반 적대적 테스트, 엣지 케이스 자동 생성, 스트레스 테스트, 안전성 가드레일 검증, 자동 레드티밍 기법을 다룹니다.
AI / ML17분 읽기
6장: 시각적 회귀 테스트
픽셀 비교의 한계를 넘어 Visual AI 기반 시각적 회귀 테스트를 다룹니다. Applitools Eyes, Percy, Chromatic 비교 분석과 동적 콘텐츠 처리, 반응형 레이아웃 테스트, 스토리북 통합을 안내합니다.
AI / ML17분 읽기
7장: 에이전트 안정성 메트릭
태스크 성공률 추이, 행동 드리프트 감지, 응답 길이 변동, 지연시간 안정성, 비용 변동성 등 에이전트의 장기적 안정성을 추적하는 메트릭과 대시보드 설계를 다룹니다.
AI / ML15분 읽기
5장: 변이 테스트(Mutation Testing)
변이 테스트의 원리와 변이 연산자를 이해하고, Stryker, PIT, mutmut 도구로 AI 생성 테스트의 품질을 검증하는 방법을 다룹니다. 변이 점수 측정과 비용-효과 분석도 포함합니다.
AI / ML16분 읽기
6장: 회귀 테스트 자동화
평가를 회귀 테스트로 졸업시키는 패턴, Golden Dataset 관리, 롤링 성공률 모니터링, 베이스라인 관리와 변경 영향 분석을 다룹니다.
AI / ML17분 읽기
4장: E2E 테스트 -- AI 에이전트 기반 자동화
자연어를 E2E 테스트로 변환하는 Momentic, testRigor, Functionize와 DOM 변경에 자동 적응하는 셀프 힐링 기능, Playwright와 AI를 결합한 실전 E2E 테스트 자동화를 다룹니다.
AI / ML17분 읽기
5장: 비결정적 출력 평가
LLM-as-Judge 패턴으로 에이전트의 비결정적 출력을 평가하는 방법, 품질 차원별 점수 산출, 임계값 설정, pass@k 전략을 상세히 다룹니다.
AI / ML18분 읽기
3장: 통합 테스트와 API 테스트 자동화
API 스키마 기반 테스트 자동 생성, 계약 테스트(Contract Testing), testcontainers와 AI를 결합한 데이터베이스 통합 테스트, 그리고 CI 파이프라인 통합 방법을 다룹니다.
AI / ML18분 읽기
4장: 엔드투엔드 시나리오 테스트
사용자 시뮬레이션 기반 멀티턴 대화 테스트, 워크플로우 완료 검증, 반복 호출 및 모순적 계획 감지 등 E2E 시나리오 테스트의 전체 방법론을 다룹니다.
AI / ML19분 읽기
2장: AI 기반 단위 테스트 자동 생성
LLM 기반 단위 테스트 자동 생성의 원리와 실전 활용법을 다룹니다. Diffblue, Codium/Qodo 도구를 활용한 pytest/Jest 테스트 생성 실습과 생성된 테스트의 품질 검증 방법을 안내합니다.
AI / ML18분 읽기
3장: 도구 호출 검증
에이전트의 도구 호출 정확성을 이름, 파라미터, 출력의 3단계로 검증하는 방법과 모킹 전략, 도구 체인 순서 검증, 불필요한 호출 감지 기법을 다룹니다.
AI / ML16분 읽기
1장: AI 기반 테스트 자동화의 진화와 현재
전통적인 테스트 자동화에서 AI 기반 테스트로의 전환을 살펴봅니다. Agentic QA의 등장, 2026년 도구 생태계, 그리고 70% 이상 기업이 도입한 AI 테스트의 현황과 30-45% 효율 개선 사례를 분석합니다.
AI / ML17분 읽기
2장: 에이전트 행동 테스트 프레임워크
Scenario, Agentest, Inspect AI, Braintrust 등 주요 에이전트 테스트 프레임워크를 비교하고, 프로젝트 특성에 맞는 선택 기준과 환경 설정 방법을 안내합니다.
AI / ML17분 읽기
1장: AI 에이전트 테스트의 필요성과 과제
결정론적 소프트웨어와 비결정적 AI 에이전트의 근본적 차이를 짚고, 전통적 QA 방법론의 한계와 에이전트 전용 3단계 테스트 모델을 소개합니다.