1장: 파운데이션 모델을 활용한 AI 애플리케이션 입문

언어 모델의 두 가지 유형

언어 모델은 크게 두 가지로 나뉜다.

• 마스크 언어 모델 — 누락된 토큰의 전후 컨텍스트를 사용해 시퀀스의 어느 위치에서든 누락된 토큰을 예측하도록 학습한다. BERT가 대표적이다.
• 자기회귀 언어 모델 — 이전 토큰들만 보고 시퀀스의 다음 토큰을 예측하도록 학습한다. GPT 시리즈가 대표적이다.

마스크 언어 모델:    나는 [MASK] 먹었다  →  "밥을" 예측 (양방향 컨텍스트)
자기회귀 언어 모델:  나는 밥을            →  "먹었다" 예측 (왼쪽→오른쪽만)

"파운데이션"이란 단어는 이 모델들이 AI 애플리케이션에서 갖는 중요성과, 다양한 요구사항에 맞게 발전시킬 수 있다는 사실을 내포한다. 하나의 사전 학습된 모델을 기반으로 프롬프트 엔지니어링, RAG, 파인튜닝 등을 통해 다양한 도메인에 적용할 수 있다는 점에서 "기반(Foundation)"이라는 이름이 붙었다.

AI 엔지니어링의 핵심 기법

대표적인 AI 엔지니어링 기법으로 프롬프트 엔지니어링, RAG(검색 증강 생성), 파인튜닝이 있다. 깃허브 스타 수 기준으로 AI 엔지니어링 도구의 성장 속도는 다른 분야 대비 월등히 빠르다.

세 가지 기법은 난이도와 유연성의 스펙트럼 위에 있다.

AI 애플리케이션의 활용 범주

AI를 활용한 애플리케이션 범주의 비율을 살펴보면 다음과 같다.

코딩 분야에서 AI는 간단한 작업에서는 생산성을 크게 향상시키지만, 복잡한 작업에서는 효과가 제한적이다. 다만 이 범위는 점차 확대되는 추세다.

AI 애플리케이션을 만드는 이유

기업이 AI 애플리케이션 개발에 뛰어드는 주요 동기는 세 가지다.

1. AI를 가진 경쟁사에 밀려 생존에 위협이 될 수 있기 때문에
2. 이익과 생산성 증대를 위한 기회를 포착하기 위해
3. 기술 흐름에서 뒤쳐질 것을 염려하기 때문에 (FOMO 증후군)

Crawl-Walk-Run 전략

AI 도입의 성숙도를 세 단계로 설명한다.

• Crawl — 사람의 참여가 필수인 단계. AI가 초안을 작성하고 사람이 검토/승인한다.
• Walk — AI가 내부 직원과 직접 상호작용할 수 있는 단계. 내부 도구, 사내 챗봇 등이 해당한다.
• Run — 외부 사용자와의 직접적인 AI 상호작용을 포함해 자동화가 향상된 단계. 고객 대면 서비스에 AI가 직접 투입된다.

각 단계를 건너뛰지 않고 순차적으로 진행하는 것이 중요하다. 신뢰할 수 있는 평가 체계 없이 Run 단계로 넘어가면 예측 불가능한 사고로 이어질 수 있다.

AI 애플리케이션 기획 순서

1. 활용 사례 평가
2. 기대치 설정
3. 마일스톤 계획
4. 유지보수

울트라챗 논문의 딩(Ding, 2023)은 "0에서 60까지 가는 여정은 쉽지만, 60에서 100으로 나아가는 것은 매우 어렵다"고 했다. 링크드인(2024)도 80% 달성까지 한 달이 걸렸지만, 95%를 넘어서기 위해 4개월이나 더 걸렸다고 밝혔다. 초기 성과는 빠르지만 고도화에는 몇 배의 시간이 든다.

AI의 세 가지 계층

AI 엔지니어링 vs ML 엔지니어링

두 분야는 유사하면서도 본질적인 차이가 있다.

정리

1장은 이후 다룰 주제들에 대한 전체적인 조감도를 제공한다. 파운데이션 모델이 AI 애플리케이션의 기반이 되는 이유, AI 엔지니어링이 기존 ML 엔지니어링과 어떻게 다른지를 설명하며, 앞으로의 여정에 대한 큰 그림을 그려준다.