6장: 평가 도구 생태계 비교와 선택 기준

import pytest
from deepeval import assert_test
from deepeval.test_case import LLMTestCase
from deepeval.metrics import (
    AnswerRelevancyMetric,
    FaithfulnessMetric,
    GEval,
)
 
 
def test_customer_support_response():
    """고객 지원 챗봇의 응답 품질을 테스트합니다."""
    
    test_case = LLMTestCase(
        input="주문한 상품이 아직 도착하지 않았어요.",
        actual_output="주문 상태를 확인해보겠습니다. 주문번호를 알려주시면 정확한 배송 현황을 안내해드리겠습니다.",
        expected_output="배송 상태 확인을 위한 주문번호 요청",
        retrieval_context=[
            "배송 문의 시 주문번호를 확인하여 택배사 추적 정보를 제공합니다.",
        ],
    )
    
    # 여러 메트릭으로 동시에 평가
    relevancy = AnswerRelevancyMetric(threshold=0.7)
    faithfulness = FaithfulnessMetric(threshold=0.8)
    tone = GEval(
        name="톤앤매너",
        criteria="응답이 친절하고 전문적인 톤을 유지하는지 평가합니다.",
        threshold=0.8,
    )
    
    assert_test(test_case, [relevancy, faithfulness, tone])

# pytest로 직접 실행
deepeval test run test_chatbot.py
 
# 결과를 Confident AI 대시보드로 전송
deepeval test run test_chatbot.py --confident

# 프롬프트 정의
prompts:
  - file://prompts/customer_support_v1.txt
  - file://prompts/customer_support_v2.txt
 
# 테스트할 모델
providers:
  - id: openai:gpt-4o
    config:
      temperature: 0
  - id: anthropic:claude-3-5-sonnet
    config:
      temperature: 0
 
# 테스트 케이스
tests:
  - vars:
      query: "환불 절차가 어떻게 되나요?"
    assert:
      - type: contains
        value: "환불"
      - type: llm-rubric
        value: "응답이 환불 절차를 단계별로 안내하고 있는가"
      - type: cost
        threshold: 0.01  # 요청당 최대 비용 $0.01
      - type: latency
        threshold: 2000   # 최대 지연시간 2000ms
 
  - vars:
      query: "경쟁사 제품을 추천해주세요."
    assert:
      - type: not-contains
        value: "추천"
      - type: llm-rubric
        value: "자사 제품의 장점을 설명하면서 정중하게 안내하는가"

# 평가 실행
promptfoo eval
 
# 결과 웹 UI로 확인
promptfoo view
 
# CI/CD에서 사용 (비대화형 모드)
promptfoo eval --no-cache --output results.json

# 자동 레드팀 테스트 생성 및 실행
promptfoo redteam init
promptfoo redteam run

from evidently import ColumnMapping
from evidently.report import Report
from evidently.metric_preset import TextEvals
from evidently.descriptors import TextLength, Sentiment, LLMEval
 
 
# 텍스트 품질 리포트 생성
report = Report(metrics=[
    TextEvals(
        column_name="response",
        descriptors=[
            TextLength(),
            Sentiment(),
            LLMEval(
                subcolumn="faithfulness",
                provider="openai",
                model="gpt-4o-mini",
                template="Is the response faithful to the given context? "
                         "Context: {context}. Response: {response}. "
                         "Answer with a score from 0 to 1.",
            ),
        ],
    ),
])
 
report.run(
    reference_data=golden_dataset,  # 기준 데이터
    current_data=production_logs,    # 현재 프로덕션 데이터
    column_mapping=ColumnMapping(
        text_features=["response"],
    ),
)
 
# HTML 리포트 저장
report.save_html("drift_report.html")

from ragas import evaluate
from ragas.metrics import (
    answer_relevancy,
    context_precision,
    context_recall,
    faithfulness,
)
from datasets import Dataset
 
 
# RAG 파이프라인의 출력을 준비
eval_dataset = Dataset.from_dict({
    "question": ["한국의 수도는 어디인가요?"],
    "answer": ["한국의 수도는 서울입니다. 서울은 한강을 중심으로 발전한 도시입니다."],
    "contexts": [["서울은 대한민국의 수도이며 최대 도시입니다.", "한강은 서울을 관통하는 강입니다."]],
    "ground_truth": ["서울"],
})
 
result = evaluate(
    eval_dataset,
    metrics=[
        answer_relevancy,
        context_precision,
        context_recall,
        faithfulness,
    ],
)
 
print(result)