10장: 프로덕션 하네스 통합 전략

from dataclasses import dataclass
 
 
@dataclass
class MaturityAssessment:
    """하네스 성숙도 평가"""
 
    # 레벨 1: Ad-hoc
    has_model_abstraction: bool = False
    has_error_handling: bool = False
 
    # 레벨 2: Basic
    has_retry_logic: bool = False
    has_output_parsing: bool = False
    has_basic_logging: bool = False
 
    # 레벨 3: Structured
    has_automated_tests: bool = False
    has_eval_pipeline: bool = False
    has_input_guardrails: bool = False
    has_output_guardrails: bool = False
    has_golden_dataset: bool = False
 
    # 레벨 4: Managed
    has_cicd_integration: bool = False
    has_canary_deployment: bool = False
    has_realtime_monitoring: bool = False
    has_cost_tracking: bool = False
    has_alerting: bool = False
 
    # 레벨 5: Optimized
    has_feedback_loop: bool = False
    has_drift_detection: bool = False
    has_auto_remediation: bool = False
    has_multi_agent_orchestration: bool = False
 
    @property
    def level(self) -> int:
        if not (self.has_model_abstraction and self.has_error_handling):
            return 1
 
        level_2 = all([
            self.has_retry_logic,
            self.has_output_parsing,
            self.has_basic_logging,
        ])
        if not level_2:
            return 2
 
        level_3 = all([
            self.has_automated_tests,
            self.has_eval_pipeline,
            self.has_input_guardrails,
            self.has_output_guardrails,
        ])
        if not level_3:
            return 3
 
        level_4 = all([
            self.has_cicd_integration,
            self.has_canary_deployment,
            self.has_realtime_monitoring,
            self.has_cost_tracking,
        ])
        if not level_4:
            return 4
 
        level_5 = all([
            self.has_feedback_loop,
            self.has_drift_detection,
            self.has_auto_remediation,
        ])
        return 5 if level_5 else 4
 
    @property
    def next_steps(self) -> list[str]:
        """현재 레벨에서 다음으로 해야 할 것"""
        current = self.level
        steps = []
 
        if current <= 1:
            if not self.has_model_abstraction:
                steps.append("모델 추상화 계층 구현 (3장 참조)")
            if not self.has_error_handling:
                steps.append("기본 에러 처리 및 재시도 로직 추가")
 
        elif current <= 2:
            if not self.has_automated_tests:
                steps.append("속성 기반 테스트 도입 (4장 참조)")
            if not self.has_eval_pipeline:
                steps.append("평가 파이프라인 구축 (5장 참조)")
            if not self.has_input_guardrails:
                steps.append("입력 가드레일 추가 (6장 참조)")
 
        elif current <= 3:
            if not self.has_cicd_integration:
                steps.append("CI/CD에 평가 게이트 통합")
            if not self.has_realtime_monitoring:
                steps.append("실시간 모니터링 대시보드 구축 (9장 참조)")
 
        elif current <= 4:
            if not self.has_feedback_loop:
                steps.append("사용자 피드백 루프 구현")
            if not self.has_drift_detection:
                steps.append("드리프트 감지 시스템 추가")
 
        return steps

name: AI System CI/CD
 
on:
  push:
    branches: [main]
  pull_request:
    branches: [main]
 
jobs:
  lint-and-type-check:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - run: pnpm install
      - run: pnpm lint
      - run: pnpm typecheck
 
  unit-tests:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - run: pnpm install
      - run: pnpm test:unit
        # 하네스 코드의 결정적 테스트
 
  eval-gate:
    runs-on: ubuntu-latest
    needs: [unit-tests]
    steps:
      - uses: actions/checkout@v4
      - run: pnpm install
      - name: 골든 데이터셋 평가
        run: |
          pnpm eval:golden --dataset eval/golden_v12.json
        env:
          ANTHROPIC_API_KEY: ${{ secrets.ANTHROPIC_API_KEY }}
      - name: 평가 결과 확인
        run: |
          # 통과율 95% 미만이면 실패
          pnpm eval:check --min-pass-rate 0.95
 
  safety-check:
    runs-on: ubuntu-latest
    needs: [unit-tests]
    steps:
      - uses: actions/checkout@v4
      - run: pnpm install
      - name: 가드레일 테스트
        run: |
          pnpm test:guardrails
      - name: 프롬프트 인젝션 테스트
        run: |
          pnpm test:injection --dataset eval/injection_tests.json
 
  deploy-canary:
    runs-on: ubuntu-latest
    needs: [eval-gate, safety-check]
    if: github.ref == 'refs/heads/main'
    steps:
      - name: 카나리 배포 (5%)
        run: deploy --strategy canary --percentage 5
      - name: 모니터링 대기 (1시간)
        run: monitor --duration 3600 --check-interval 300
      - name: 승격 또는 롤백
        run: deploy --auto-promote-or-rollback

# 프로젝트 개요
 
이 프로젝트는 [설명]입니다.
 
## 기술 스택
 
- Framework: Next.js 16 (App Router)
- Language: TypeScript (strict mode)
- Styling: Tailwind CSS v4
 
## 핵심 규칙
 
1. TypeScript strict 모드를 사용합니다. any 타입은 금지입니다.
2. 모든 변경 후 빌드가 통과해야 합니다.
3. 컴포넌트는 함수 선언을 사용합니다.
 
## 코딩 컨벤션
 
- 파일명: 컴포넌트는 PascalCase, 유틸리티는 kebab-case
- import 순서: React/Next -> 외부 -> 내부 -> 타입
- 커밋: Conventional Commits 형식
 
## 디렉토리 구조
 
src/
  app/         # App Router 페이지
  components/  # UI 컴포넌트
  lib/         # 유틸리티

# 에이전트 행동 규칙
 
## 허용된 행동
 
- 파일 읽기 및 분석
- 코드 리뷰 및 제안
- 테스트 코드 작성
- 문서 업데이트
 
## 금지된 행동
 
- 프로덕션 데이터베이스 직접 접근
- 환경 변수 파일(.env) 수정
- main 브랜치에 직접 푸시
- 사용자 확인 없이 파일 삭제
 
## 도구 사용 가이드
 
### 파일 수정 시
1. 반드시 기존 파일을 먼저 읽을 것
2. 변경 범위를 최소화할 것
3. 변경 후 관련 테스트를 실행할 것
 
### 코드 실행 시
1. 샌드박스 환경에서만 실행
2. 네트워크 접근이 필요한 코드는 사전 확인
3. 실행 시간 제한: 60초
 
## 에스컬레이션
 
다음 상황에서는 사용자에게 확인을 요청하세요:
- 10개 이상의 파일 수정
- 의존성 패키지 추가/삭제
- 보안 관련 코드 변경
- 성능에 영향을 줄 수 있는 변경