6장: Pinecone -- 매니지드 벡터 데이터베이스

from pinecone import Pinecone, ServerlessSpec
 
# 클라이언트 초기화
pc = Pinecone(api_key="YOUR_API_KEY")
 
# 서버리스 인덱스 생성
pc.create_index(
    name="articles",
    dimension=1536,
    metric="cosine",
    spec=ServerlessSpec(
        cloud="aws",
        region="us-east-1"
    )
)
 
# 인덱스 연결
index = pc.Index("articles")
 
# 벡터 삽입 (upsert)
index.upsert(
    vectors=[
        {
            "id": "article-001",
            "values": [0.1, 0.2, ...],  # 1536차원 벡터
            "metadata": {
                "title": "벡터 데이터베이스 입문",
                "category": "database",
                "published_year": 2024,
                "tags": ["vector-db", "ai"]
            }
        },
        {
            "id": "article-002",
            "values": [0.3, 0.1, ...],
            "metadata": {
                "title": "HNSW 알고리즘 분석",
                "category": "algorithm",
                "published_year": 2025,
                "tags": ["hnsw", "ann"]
            }
        }
    ],
    namespace="tech-blog"
)

# 네임스페이스별 삽입
index.upsert(vectors=[...], namespace="user-a")
index.upsert(vectors=[...], namespace="user-b")
 
# 네임스페이스별 검색 (다른 네임스페이스의 데이터에 접근 불가)
results = index.query(
    vector=[0.1, 0.2, ...],
    top_k=10,
    namespace="user-a"
)
 
# 네임스페이스 삭제 (해당 네임스페이스의 모든 벡터 삭제)
index.delete(delete_all=True, namespace="user-a")

# 복합 필터링
results = index.query(
    vector=[0.1, 0.2, ...],
    top_k=10,
    filter={
        "$and": [
            {"category": {"$eq": "database"}},
            {"published_year": {"$gte": 2024}},
            {"tags": {"$in": ["vector-db", "ai"]}}
        ]
    },
    include_metadata=True,
    namespace="tech-blog"
)
 
for match in results.matches:
    print(f"ID: {match.id}")
    print(f"Score: {match.score:.4f}")
    print(f"Title: {match.metadata['title']}")

# 하이브리드 검색용 벡터 삽입
index.upsert(
    vectors=[
        {
            "id": "doc-001",
            "values": [0.1, 0.2, ...],          # 밀집 벡터 (시맨틱)
            "sparse_values": {
                "indices": [102, 512, 1024],     # 희소 벡터 인덱스
                "values": [0.8, 0.5, 0.3]        # 희소 벡터 값
            },
            "metadata": {"title": "벡터 DB 가이드"}
        }
    ]
)
 
# 하이브리드 쿼리 (alpha로 밀집/희소 비중 조절)
results = index.query(
    vector=[0.1, 0.2, ...],           # 밀집 쿼리 벡터
    sparse_vector={
        "indices": [102, 512],
        "values": [1.0, 0.7]
    },
    top_k=10
)

from openai import OpenAI
from pinecone import Pinecone
 
openai_client = OpenAI()
pc = Pinecone(api_key="YOUR_PINECONE_KEY")
index = pc.Index("knowledge-base")
 
def rag_query(question: str, top_k: int = 5) -> str:
    """RAG 파이프라인: 질문 -> 검색 -> 생성"""
 
    # 1. 질문을 임베딩으로 변환
    embedding = openai_client.embeddings.create(
        model="text-embedding-3-small",
        input=question
    ).data[0].embedding
 
    # 2. Pinecone에서 관련 문서 검색
    results = index.query(
        vector=embedding,
        top_k=top_k,
        include_metadata=True,
        namespace="documents"
    )
 
    # 3. 검색 결과를 컨텍스트로 조합
    context = "\n\n".join([
        f"[출처: {m.metadata['title']}]\n{m.metadata['content']}"
        for m in results.matches
    ])
 
    # 4. LLM으로 답변 생성
    response = openai_client.chat.completions.create(
        model="gpt-4o",
        messages=[
            {"role": "system", "content": f"다음 자료를 참고하여 답변하세요:\n\n{context}"},
            {"role": "user", "content": question}
        ]
    )
 
    return response.choices[0].message.content
 
# 사용
answer = rag_query("벡터 데이터베이스의 HNSW 인덱스란?")
print(answer)