2장: 에이전트 행동 테스트 프레임워크

pip install scenario-testing

from scenario import Scenario, ScenarioAgent, ScenarioResult
import pytest
 
class MyAgentAdapter(ScenarioAgent):
    """테스트 대상 에이전트를 Scenario에 연결하는 어댑터"""
 
    async def call(self, message: str) -> str:
        # 실제 에이전트 호출 로직
        response = await my_agent.invoke(message)
        return response.content
 
@pytest.mark.asyncio
async def test_weather_query():
    agent = MyAgentAdapter()
 
    result: ScenarioResult = await Scenario(
        name="날씨 조회",
        description="사용자가 서울 날씨를 물으면 정확한 정보를 제공해야 합니다",
        agent=agent,
        success_criteria=[
            "에이전트가 weather_api 도구를 호출했는가",
            "응답에 기온 정보가 포함되어 있는가",
            "응답이 한국어로 작성되었는가",
        ],
    ).run()
 
    assert result.success is True

async def test_flight_booking_tools():
    result = await Scenario(
        name="항공편 예약",
        description="사용자가 항공편 예약을 요청하면 적절한 도구를 순서대로 호출해야 합니다",
        agent=agent,
    ).run()
 
    state = result.state
 
    # 도구 호출 여부 검증
    assert state.has_tool_call("search_flights")
    assert state.has_tool_call("book_flight")
 
    # 파라미터까지 검증
    assert state.has_tool_call(
        "search_flights",
        parameters={"departure": "ICN", "arrival": "NRT"}
    )

import { AgentTest, SimulatedUser, LLMJudge } from "agentest";
 
const test = new AgentTest({
  agent: myAgent,
  simulatedUser: new SimulatedUser({
    persona: "기술에 익숙하지 않은 50대 사용자",
    goal: "인터넷 뱅킹으로 50만 원 송금하기",
    constraints: [
      "한 번에 이해하지 못하면 다시 질문한다",
      "전문 용어를 사용하지 않는다",
    ],
  }),
  judge: new LLMJudge({
    criteria: [
      "에이전트가 사용자 눈높이에 맞게 설명했는가",
      "송금 프로세스가 완료되었는가",
      "보안 확인 절차를 거쳤는가",
    ],
  }),
  maxTurns: 15,
});
 
const result = await test.run();
console.log(result.passed);   // true / false
console.log(result.score);    // 0.0 ~ 1.0
console.log(result.turnCount); // 실제 대화 턴 수

from inspect_ai import Task, task, eval
from inspect_ai.dataset import Sample
from inspect_ai.scorer import model_graded_fact
from inspect_ai.solver import generate, use_tools
from inspect_ai.tool import bash, python
 
@task
def code_generation_eval():
    return Task(
        dataset=[
            Sample(
                input="피보나치 수열의 10번째 값을 계산하는 Python 함수를 작성하세요",
                target="55",
            ),
            Sample(
                input="주어진 리스트에서 중복을 제거하는 함수를 작성하세요",
                target="중복이 제거된 리스트를 반환",
            ),
        ],
        solver=[use_tools([python()]), generate()],
        scorer=model_graded_fact(),
        sandbox="docker",  # Docker 컨테이너에서 코드 실행
    )

import braintrust
 
experiment = braintrust.init(project="customer-support-agent")
 
for test_case in dataset:
    with experiment.start_span(name="agent_run") as span:
        result = await agent.run(test_case.input)
 
        span.log(
            input=test_case.input,
            output=result,
            expected=test_case.expected,
            scores={
                "relevance": evaluate_relevance(result, test_case),
                "completeness": evaluate_completeness(result, test_case),
                "tool_accuracy": evaluate_tool_usage(result, test_case),
            },
        )
 
experiment.summarize()

import pytest
from scenario import ScenarioAgent
 
class QAAgentAdapter(ScenarioAgent):
    def __init__(self):
        self.agent = create_qa_agent()  # 실제 에이전트 생성
 
    async def call(self, message: str) -> str:
        response = await self.agent.arun(message)
        return response
 
@pytest.fixture
def qa_agent():
    return QAAgentAdapter()

import pytest
from scenario import Scenario
 
@pytest.mark.asyncio
async def test_factual_accuracy(qa_agent):
    """사실 기반 질문에 정확하게 답변하는지 검증"""
    result = await Scenario(
        name="사실 정확성 검증",
        description="대한민국의 수도를 물으면 정확하게 답변해야 합니다",
        agent=qa_agent,
        success_criteria=[
            "응답에 '서울'이 포함되어 있는가",
            "추가적인 잘못된 정보가 없는가",
        ],
    ).run()
    assert result.success is True
 
@pytest.mark.asyncio
async def test_out_of_scope_handling(qa_agent):
    """범위 밖 질문에 적절히 대응하는지 검증"""
    result = await Scenario(
        name="범위 밖 질문 처리",
        description="에이전트의 전문 분야가 아닌 질문을 받으면 정중하게 거절해야 합니다",
        agent=qa_agent,
        success_criteria=[
            "모르는 내용을 지어내지 않는가",
            "답변할 수 없음을 명확히 밝혔는가",
            "관련 리소스를 안내했는가",
        ],
    ).run()
    assert result.success is True

# 테스트 실행
pytest test_qa_scenarios.py -v --tb=short