9장: 프로덕션 AI 데이터 파이프라인
재시도, 서킷 브레이커, 관측 가능성, 비용 추적, 스키마 버전 관리 등 프로덕션 수준의 AI 파이프라인 운영 기법을 학습합니다.
20개의 글
재시도, 서킷 브레이커, 관측 가능성, 비용 추적, 스키마 버전 관리 등 프로덕션 수준의 AI 파이프라인 운영 기법을 학습합니다.
PDF 송장에서 구조화된 JSON 데이터를 추출하는 엔드투엔드 파이프라인을 FastAPI, Pydantic, 검증 루프, 배치 처리로 구축합니다.
스키마 검증, 의미적 검증, 자동 재시도, 멀티 프로바이더 폴백, 부분 출력 복구 등 프로덕션 수준의 검증 전략을 학습합니다.
전통 ETL과 LLM-enhanced ETL을 비교하고, Transform 단계에 LLM을 적용하여 분류, 요약, 정규화, 감성분석을 수행하는 방법을 학습합니다.
대량 문서 처리 파이프라인을 구축하고, 배치 처리, 비동기 추출, 품질 검증 루프, 비용 최적화 전략을 학습합니다.
PDF, 이미지, 웹페이지 등 비정형 데이터에서 LLM을 활용하여 구조화된 정보를 추출하는 실전 기법을 학습합니다.
Pydantic v2로 LLM 출력 스키마를 정의하고, Instructor 라이브러리로 자동 재시도와 스트리밍 구조화 출력을 구현합니다.
Function Calling의 원리를 이해하고, OpenAI/Anthropic/Google의 도구 호출 인터페이스로 구조화된 출력을 생성하는 방법을 학습합니다.
JSON Schema 기초 문법을 학습하고, OpenAI, Anthropic, Google 주요 프로바이더의 구조화된 출력 API를 실습합니다.
LLM 비정형 출력의 한계를 분석하고, 구조화된 출력의 3가지 접근 방식과 제약 디코딩의 원리를 살펴봅니다.
프롬프트의 버전 관리, CI/CD 파이프라인 통합, 환경별 배포 전략, 그리고 운영 모니터링까지 프로덕션급 프롬프트 관리 체계를 다룹니다.
프롬프트의 품질을 정량적으로 측정하고 회귀를 방지하는 체계적인 테스트 전략과 자동화 도구를 다룹니다.
메타 프롬프팅, 프롬프트 체이닝, 자기 성찰, Tree-of-Thought 등 복잡한 작업을 해결하는 고급 프롬프트 엔지니어링 기법을 다룹니다.
프로덕션 환경에서 일관된 모델 행동을 보장하는 시스템 프롬프트의 구조, 설계 원칙, 그리고 실전 패턴을 체계적으로 다룹니다.
LLM이 JSON Schema를 따르는 구조화된 응답을 생성하도록 설계하는 방법과 프로덕션 시스템 통합 전략을 다룹니다.
프롬프트의 구조를 명확히 하는 XML, JSON, 마크다운 기반 입력 설계 기법과 모델별 최적 전략을 다룹니다.
LLM에게 전문가 역할을 부여하여 도메인 특화 응답을 이끌어내는 페르소나 설계의 원리와 실전 패턴을 체계적으로 다룹니다.
LLM에게 단계적 사고를 유도하는 Chain-of-Thought 프롬프팅의 원리, 변형 기법, 그리고 최신 추론 모델에서의 활용 전략을 다룹니다.
예시 없이 지시하는 제로샷부터 예시를 활용하는 퓨샷까지, 예시 기반 프롬프팅의 원리와 실전 활용 전략을 체계적으로 다룹니다.
프롬프트 엔지니어링이 무엇이고 왜 중요한지, LLM과의 효과적인 소통을 위한 핵심 원칙과 기초 개념을 체계적으로 살펴봅니다.