1장: 합성 데이터의 부상과 엔지니어링

이 장에서 배우는 것

• 합성 데이터(Synthetic Data)의 정의와 실제 데이터와의 차이
• 2026년 합성 데이터가 필수가 된 세 가지 동인: 데이터 부족, 비용, 프라이버시
• 합성 데이터의 주요 유형: 텍스트, 코드, 이미지, 구조화 데이터
• 모델 붕괴(Model Collapse) 문제와 대응 전략
• 합성 데이터 엔지니어링 생태계의 전체 지도

합성 데이터란 무엇인가

합성 데이터(Synthetic Data)란 실제 세계에서 직접 수집한 것이 아니라, 알고리즘이나 AI 모델을 통해 인공적으로 생성한 데이터를 의미합니다. 단순한 랜덤 데이터와는 근본적으로 다릅니다. 합성 데이터는 실제 데이터의 통계적 특성, 분포, 패턴을 보존하면서도 원본 데이터에 포함된 개인정보나 민감한 정보를 포함하지 않도록 설계됩니다.

가장 직관적인 비유를 들어보겠습니다. 실제 환자 의료 기록 10만 건이 있다고 가정합니다. 이 데이터로 직접 모델을 학습시키면 프라이버시 문제가 발생합니다. 대신, 원본 데이터의 분포와 상관관계를 학습한 생성 모델이 "실제와 구별하기 어려운" 가상의 의료 기록 10만 건을 만들어냅니다. 이것이 합성 데이터입니다.

합성 데이터는 그 생성 방식에 따라 크게 세 가지로 나뉩니다.

1. 규칙 기반(Rule-based): 사전 정의된 템플릿과 규칙에 따라 생성합니다. 예측 가능하지만 다양성이 제한됩니다.
2. 통계 모델 기반(Statistical): 원본 데이터의 통계적 분포를 학습하여 새로운 샘플을 생성합니다. GANs, VAE 등이 여기에 해당합니다.
3. 대규모 언어 모델 기반(LLM-based): GPT-4, Claude, Llama 등 LLM을 활용하여 텍스트, 코드, 구조화 데이터를 생성합니다. 2024년 이후 가장 주류가 된 방식입니다.

왜 2026년에 합성 데이터가 필수인가

동인 1: 데이터 부족

Epoch AI의 2024년 연구에 따르면, 인터넷에서 수집 가능한 고품질 텍스트 데이터는 2028년경 고갈될 것으로 예측됩니다. 이미 GPT-4 수준의 모델을 학습시키기 위해서는 수조 개의 토큰이 필요하며, 이는 인터넷 전체 텍스트의 상당 부분에 해당합니다.

특히 전문 도메인에서의 데이터 부족은 더욱 심각합니다. 의료, 법률, 금융 분야의 고품질 라벨링된 데이터는 수집 비용이 극히 높고, 개인정보 보호 규제로 인해 공유조차 어렵습니다.

동인 2: 비용

실제 데이터 수집과 라벨링의 비용을 구체적으로 살펴보겠습니다.

LLM 기반 합성 데이터 생성은 API 호출 비용만 발생하므로, 전통적인 크라우드소싱 대비 비용을 1/10에서 1/100 수준으로 낮출 수 있습니다.

동인 3: 프라이버시

GDPR, HIPAA, 그리고 한국의 개인정보보호법은 점점 더 엄격해지고 있습니다. 합성 데이터는 이러한 규제를 우회하는 가장 실용적인 방법입니다.

합성 데이터의 유형

합성 데이터는 생성 대상에 따라 네 가지 주요 유형으로 분류됩니다.

텍스트 데이터

가장 활발하게 연구되고 있는 영역입니다. LLM을 활용하여 지시-응답 쌍(Instruction-Response Pair), 대화 데이터, 분류 라벨, 요약문 등을 생성합니다.

from openai import OpenAI
 
client = OpenAI()
 
def generate_instruction_pair(topic: str, difficulty: str) -> dict:
    """지시-응답 쌍을 합성 생성합니다."""
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[
            {
                "role": "system",
                "content": (
                    f"주어진 주제에 대해 {difficulty} 수준의 "
                    "지시-응답 쌍을 생성하세요."
                ),
            },
            {
                "role": "user",
                "content": f"주제: {topic}",
            },
        ],
        temperature=0.8,
    )
    return {
        "topic": topic,
        "difficulty": difficulty,
        "content": response.choices[0].message.content,
    }

코드 데이터

코드 생성, 코드 리뷰, 버그 수정, 테스트 케이스 등의 데이터를 합성합니다. Meta의 Code Llama, DeepSeek Coder 등은 합성 코드 데이터로 학습 성능을 크게 향상시켰습니다.

이미지 데이터

Stable Diffusion, DALL-E 등의 이미지 생성 모델을 활용합니다. 자율주행, 의료 영상, 제조 결함 탐지 등에서 라벨이 정확한 합성 이미지를 대량 생성할 수 있습니다.

구조화 데이터

테이블, CSV, JSON, SQL 쿼리 결과 등의 정형 데이터를 합성합니다. 통계적 특성을 보존하면서도 개인 식별이 불가능한 데이터를 생성하는 것이 핵심입니다.

모델 붕괴: 합성 데이터의 어두운 면

합성 데이터의 가능성이 무한해 보이지만, 심각한 위험도 존재합니다. 그 중 가장 대표적인 것이 모델 붕괴(Model Collapse)입니다.

모델 붕괴란 AI 모델이 생성한 합성 데이터로 다음 세대 모델을 학습시키는 과정을 반복할 때, 세대를 거듭할수록 모델의 성능이 점진적으로 저하되는 현상을 말합니다. 2024년 Nature에 발표된 Shumailov 등의 연구가 이 현상을 체계적으로 입증했습니다.

모델 붕괴가 발생하는 근본 원인은 다음과 같습니다.

1. 꼬리 분포 소실(Tail Distribution Loss): 합성 데이터는 원본 데이터의 빈도 낮은 패턴을 충실히 재현하지 못합니다. 세대를 거듭하면 이 "꼬리" 부분이 점점 사라집니다.
2. 다양성 감소(Diversity Reduction): 생성 모델은 본질적으로 평균 회귀 경향이 있어, 세대를 거듭할수록 출력이 균일해집니다.
3. 오류 누적(Error Accumulation): 미세한 생성 오류가 세대마다 증폭됩니다.

대응 전략을 정리하면 다음과 같습니다.

• 실제 데이터 혼합: 합성 데이터와 실제 데이터를 적절한 비율로 섞어 학습합니다.
• 품질 필터링: 저품질 합성 데이터를 철저히 걸러냅니다. 5장에서 자세히 다룹니다.
• 다양성 강화: 생성 시 온도(temperature), 샘플링 전략을 조절하여 다양성을 확보합니다.
• 세대 제한: 합성 데이터의 "세대"를 추적하고, 일정 세대 이상의 재귀적 생성을 방지합니다.

합성 데이터 엔지니어링 생태계

2026년 현재, 합성 데이터 생태계는 다음과 같은 계층 구조를 형성하고 있습니다.

생성 레이어

검증 레이어

생성된 합성 데이터의 품질을 검증하는 단계입니다. 충실도(Fidelity), 유용성(Utility), 프라이버시(Privacy) 세 축으로 평가합니다. 이는 5장에서 깊이 다룹니다.

평가 레이어

합성 데이터의 최종 가치는 다운스트림 태스크에서의 성능으로 판단합니다. TSTR(Train on Synthetic, Test on Real) 방법론이 표준으로 자리잡고 있습니다. 9장에서 상세히 살펴봅니다.

이 시리즈의 로드맵

이 시리즈는 총 10장에 걸쳐 합성 데이터 엔지니어링의 전체 스펙트럼을 다룹니다.

정리

이 장에서는 합성 데이터의 정의, 필요성, 유형, 그리고 주의해야 할 위험까지 전체적인 그림을 그려보았습니다. 핵심을 요약하면 다음과 같습니다.

• 합성 데이터는 AI가 생성한, 실제 데이터의 통계적 특성을 보존하는 인공 데이터입니다.
• 데이터 부족, 비용, 프라이버시라는 세 가지 구조적 동인이 합성 데이터를 필수로 만들고 있습니다.
• 텍스트, 코드, 이미지, 구조화 데이터 등 모든 유형의 데이터를 합성할 수 있습니다.
• 모델 붕괴는 실제 데이터 혼합, 품질 필터링, 다양성 강화로 대응합니다.
• 생태계는 생성, 검증, 평가 세 계층으로 구성되어 빠르게 성숙하고 있습니다.