5장: Inspect AI - 에이전트 수준 평가

from inspect_ai import Task, task
from inspect_ai.dataset import Sample, MemoryDataset
from inspect_ai.scorer import match
from inspect_ai.solver import generate, system_message
 
 
@task
def math_reasoning() -> Task:
    """수학 추론 능력을 평가하는 태스크입니다."""
    
    dataset = MemoryDataset(
        samples=[
            Sample(
                input="127과 83의 합에서 45를 빼면 얼마입니까?",
                target="165",
            ),
            Sample(
                input="한 변의 길이가 7cm인 정사각형의 넓이는?",
                target="49",
            ),
        ]
    )
    
    return Task(
        dataset=dataset,
        solver=[
            system_message("당신은 수학 문제를 단계적으로 풀어주는 전문가입니다. 최종 답은 숫자만 작성하세요."),
            generate(),
        ],
        scorer=match(numeric=True),
    )

from inspect_ai.solver import (
    Solver,
    TaskState,
    generate,
    solver,
    system_message,
    use_tools,
)
from inspect_ai.tool import bash, python
 
 
@solver
def coding_agent() -> Solver:
    """코드를 작성하고 실행하여 문제를 해결하는 에이전트 솔버입니다."""
    
    return chain(
        system_message(
            "당신은 Python 코드를 작성하고 실행하여 문제를 해결하는 에이전트입니다. "
            "bash()와 python() 도구를 사용하여 코드를 실행할 수 있습니다. "
            "문제를 단계적으로 분석하고, 코드를 작성하여 검증하세요."
        ),
        use_tools([bash(), python()]),
        generate(),
    )

from inspect_ai.scorer import Score, Scorer, Target, scorer, CORRECT, INCORRECT
 
 
@scorer(metrics=["accuracy"])
def code_execution_scorer() -> Scorer:
    """코드 실행 결과를 기반으로 채점합니다."""
    
    async def score(state: TaskState, target: Target) -> Score:
        # 모델이 생성한 코드의 실행 결과를 확인
        last_output = state.messages[-1].content
        
        if target.text.strip() in last_output:
            return Score(value=CORRECT, explanation="실행 결과가 정답과 일치합니다.")
        
        return Score(value=INCORRECT, explanation=f"기대: {target.text}, 실제: {last_output}")
    
    return score

from inspect_ai import eval
from inspect_ai.model import get_model
 
# GAIA 벤치마크 실행
results = eval(
    tasks=["gaia"],
    model=get_model("openai/gpt-4o"),
    max_messages=30,      # 에이전트 루프 최대 메시지 수
    max_tool_calls=20,    # 최대 도구 호출 수
)

from inspect_ai import Task, task
from inspect_ai.dataset import hf_dataset
from inspect_ai.scorer import includes
from inspect_ai.solver import generate, use_tools
from inspect_ai.tool import bash
 
 
@task
def swe_bench_lite() -> Task:
    """SWE-Bench Lite 벤치마크를 실행합니다."""
    
    return Task(
        dataset=hf_dataset(
            "princeton-nlp/SWE-bench_Lite",
            split="test",
        ),
        solver=[
            use_tools([bash(timeout=120)]),
            generate(),
        ],
        scorer=includes(),
        sandbox="docker",  # Docker 샌드박스에서 실행
    )

from inspect_ai import Task, task
from inspect_ai.solver import generate, use_tools
from inspect_ai.tool import bash, python
 
 
@task
def sandboxed_coding_eval() -> Task:
    """샌드박스된 환경에서 코딩 평가를 수행합니다."""
    
    return Task(
        dataset="my_coding_dataset",
        solver=[
            use_tools([
                bash(timeout=60),
                python(timeout=60),
            ]),
            generate(),
        ],
        scorer=code_execution_scorer(),
        sandbox="docker",
        sandbox_config={
            "image": "python:3.12-slim",
            "memory_limit": "2g",
            "cpu_limit": 2,
            "network_mode": "none",  # 네트워크 격리
        },
    )

from inspect_ai import Task, task
from inspect_ai.solver import Solver, TaskState, solver
 
 
@solver
def external_agent_solver(agent_command: str) -> Solver:
    """외부 에이전트를 솔버로 래핑합니다."""
    
    async def solve(state: TaskState) -> TaskState:
        import subprocess
        
        # 외부 에이전트에게 태스크 전달
        result = subprocess.run(
            [agent_command, "--task", state.input_text],
            capture_output=True,
            text=True,
            timeout=300,
        )
        
        state.output = result.stdout
        return state
    
    return solve

# Inspect Cyber 설치
pip install inspect-cyber
 
# CTF 벤치마크 실행
inspect eval inspect_cyber/ctf \
    --model openai/gpt-4o \
    --sandbox docker \
    --max-messages 50

# 단일 태스크 실행
inspect eval my_task.py --model openai/gpt-4o
 
# 여러 모델로 동일 태스크 실행
inspect eval my_task.py \
    --model openai/gpt-4o \
    --model anthropic/claude-3-5-sonnet \
    --model google/gemini-1.5-pro
 
# 결과를 특정 디렉토리에 저장
inspect eval my_task.py \
    --model openai/gpt-4o \
    --log-dir ./eval_logs/

# 평가 로그 조회
inspect log list
 
# 특정 실행 결과 상세 보기
inspect log read <log-id>
 
# 웹 뷰어로 결과 시각화
inspect view