//
알아서 잘하는 에이전틱 AI 시스템 구축하기 · 안자나바 비스와스, 릭 탈루크다르
에이전트가 단순히 작업을 수행하는 것을 넘어, 자신의 행동과 결과를 되돌아보고 개선할 수 있는 능력은 에이전틱 시스템의 핵심 차별점이다. 반성은 에이전트가 실수에서 학습하고, 전략을 수정하며, 점진적으로 성능을 높여가는 메커니즘이다.
사람이 실수 후 "왜 그랬을까"를 자문하듯, 에이전트도 자신의 출력을 평가하고 다음 행동에 반영할 수 있어야 한다. 이는 단순한 오류 처리(error handling)와는 본질적으로 다르다. 오류 처리는 예상된 실패에 대응하는 것이지만, 반성은 예상하지 못한 결과까지 포함하여 자신의 추론 과정 자체를 점검하는 것이다.
메타 추론은 "추론에 대한 추론"이다. 에이전트가 자신의 사고 과정 자체를 모니터링하고 조율하는 능력을 말한다.
에이전트가 자신의 작업 수행 품질을 실시간으로 측정한다. 예를 들어 여행 계획 에이전트가 생성한 일정의 이동 시간 합산이 비현실적이라면, 스스로 이를 감지하고 재계획을 시작할 수 있다.
제한된 시간과 계산 자원을 어떤 추론 과정에 얼마나 투자할지 결정한다. 간단한 질문에 과도한 추론을 하거나, 복잡한 문제에 피상적인 분석만 하는 것은 모두 리소스 낭비다.
메타 추론은 LLM 기반 에이전트에서 자기 평가 프롬프트(self-evaluation prompt)로 구현되는 경우가 많다. 에이전트가 자신의 출력을 다시 입력으로 받아 품질을 판정하고, 필요 시 재시도하는 패턴이다.
에이전트가 자신의 행동과 결정을 설명할 수 있는 능력이다. 이 능력은 두 가지 측면에서 중요하다.
사용자가 에이전트의 결정 근거를 이해할 수 있어야 신뢰가 형성된다. "왜 이 호텔을 추천했는가?"라는 질문에 "위치, 가격, 평점을 종합적으로 고려했으며, 특히 사용자가 지정한 예산 범위 내에서 평점이 가장 높았기 때문입니다"라고 답할 수 있어야 한다.
자기 설명 과정 자체가 추론의 품질을 높인다. Chain-of-Thought가 이를 잘 보여주는데, 모델이 중간 추론 과정을 명시적으로 생성하면 최종 답변의 정확도가 올라간다.
에이전트가 자신의 현재 상태, 능력, 한계에 대한 내부 모델을 유지하는 것이다.
다수의 목표가 충돌할 때 우선순위를 조정하고, 달성 불가능한 목표를 인식하여 전략을 수정한다. 여행 계획에서 "예산 최소화"와 "5성급 호텔 투숙"이 동시에 요구되면, 에이전트는 이 충돌을 감지하고 사용자에게 조율을 요청할 수 있어야 한다.
자신이 알고 있는 것과 모르는 것의 경계를 인식한다. 에이전트가 "이 정보는 제 학습 데이터에 포함되어 있지 않아 확인이 필요합니다"라고 솔직하게 밝히는 것도 자기 모델링의 한 형태다. 이는 환각(hallucination) 방지에도 기여한다.
| 능력 | 초점 | 에이전트 행동 예시 |
|---|---|---|
| 메타 추론 | 사고 과정 모니터링 | 추론 품질 자가 평가 후 재시도 |
| 자기 설명 | 행동 근거 제시 | 추천 이유를 단계별로 설명 |
| 자기 모델링 | 능력과 한계 인식 | 확실하지 않은 정보에 대해 불확실성 표시 |
책에서는 성찰과 자기 탐구 능력이 실제로 적용되는 다섯 가지 사례를 소개한다.
에이전트가 고객 불만 해결 과정을 반성하여, 어떤 응대 전략이 만족도를 높였는지 학습한다. 반복되는 유형의 불만에 대해 점차 개선된 응답을 생성할 수 있다.
캠페인 성과를 분석하고, 어떤 메시지와 채널 조합이 효과적이었는지 자동으로 평가한다. 다음 캠페인 기획에 이 반성 결과를 반영한다.
투자 결정의 사후 분석을 수행한다. 특정 매매 결정이 왜 예상과 다른 결과를 냈는지를 추론하고, 향후 유사한 상황에서의 판단 기준을 조정한다.
상품 추천의 적중률을 자체 평가하고, 사용자 피드백과의 차이를 분석하여 추천 전략을 개선한다.
에이전트가 생성한 일정에 대해 스스로 검증한다. 이동 시간의 현실성, 예산 범위 준수, 선호도 반영 여부 등을 자가 점검하고 문제가 발견되면 수정 버전을 생성한다.
LLM 기반 에이전트에서 성찰을 구현할 때, 생성과 평가를 동일 모델로 처리하면 자기 확인 편향(self-confirmation bias)이 발생할 수 있다. 가능하다면 생성 단계와 평가 단계에 서로 다른 프롬프트 전략이나 모델을 사용하는 것이 효과적이다.
4장은 에이전틱 시스템이 "지능적"이라 불릴 수 있는 핵심 이유를 설명한다. 단순히 입력에 반응하는 것이 아니라, 자신의 행동을 되돌아보고 개선하는 능력이야말로 진정한 자율성의 기반이다. 다만 현재 LLM 기반 성찰의 한계도 분명하다. 자기 평가의 신뢰성을 어떻게 보장할 것인지는 여전히 열린 문제다.