7장: Weaviate -- 오픈소스 벡터 검색 엔진

import weaviate
import weaviate.classes.config as wc
 
client = weaviate.connect_to_local()
 
# 컬렉션 생성 (스키마 정의)
articles = client.collections.create(
    name="Article",
    vectorizer_config=wc.Configure.Vectorizer.text2vec_openai(
        model="text-embedding-3-small"
    ),
    properties=[
        wc.Property(
            name="title",
            data_type=wc.DataType.TEXT,
        ),
        wc.Property(
            name="content",
            data_type=wc.DataType.TEXT,
        ),
        wc.Property(
            name="category",
            data_type=wc.DataType.TEXT,
            skip_vectorization=True  # 이 필드는 벡터화에서 제외
        ),
        wc.Property(
            name="published_year",
            data_type=wc.DataType.INT,
            skip_vectorization=True
        ),
    ]
)

# Weaviate 내장 RAG (Generative Search)
articles = client.collections.get("Article")
 
response = articles.generate.near_text(
    query="벡터 데이터베이스의 장점",
    limit=5,
    grouped_task="다음 검색 결과를 바탕으로 벡터 데이터베이스의 장점을 요약해 주세요."
)
 
print(response.generated)  # LLM이 생성한 요약
for obj in response.objects:
    print(f"- {obj.properties['title']}")

articles = client.collections.get("Article")
 
# 배치 삽입 (내장 벡터라이저가 자동으로 임베딩 생성)
with articles.batch.dynamic() as batch:
    for item in data_list:
        batch.add_object(
            properties={
                "title": item["title"],
                "content": item["content"],
                "category": item["category"],
                "published_year": item["year"]
            }
            # 벡터를 직접 제공할 수도 있음
            # vector=item["embedding"]
        )

articles = client.collections.get("Article")
 
# 텍스트 기반 시맨틱 검색
response = articles.query.near_text(
    query="ANN 알고리즘의 성능 비교",
    limit=10,
    filters=weaviate.classes.query.Filter.by_property("category").equal("algorithm"),
    return_metadata=weaviate.classes.query.MetadataQuery(
        distance=True,
        certainty=True
    )
)
 
for obj in response.objects:
    print(f"Title: {obj.properties['title']}")
    print(f"Distance: {obj.metadata.distance:.4f}")

from weaviate.classes.tenants import Tenant, TenantActivityStatus
 
# 멀티테넌시 활성화된 컬렉션 생성
client.collections.create(
    name="UserDocument",
    multi_tenancy_config=wc.Configure.multi_tenancy(enabled=True),
    # ... 나머지 설정
)
 
collection = client.collections.get("UserDocument")
 
# 테넌트 추가
collection.tenants.create([
    Tenant(name="tenant-a"),
    Tenant(name="tenant-b"),
])
 
# 특정 테넌트에 데이터 삽입
tenant_a = collection.with_tenant("tenant-a")
tenant_a.data.insert(properties={"title": "테넌트 A의 문서"})
 
# 특정 테넌트에서 검색 (다른 테넌트 데이터 접근 불가)
results = tenant_a.query.near_text(query="검색어", limit=5)
 
# 비활성 테넌트 (디스크로 오프로드, 메모리 절약)
collection.tenants.update([
    Tenant(name="tenant-b", activity_status=TenantActivityStatus.INACTIVE)
])

articles = client.collections.get("Article")
 
# 하이브리드 검색
response = articles.query.hybrid(
    query="HNSW 인덱스 파라미터 튜닝",
    alpha=0.75,     # 0 = 키워드만, 1 = 벡터만, 0.75 = 벡터 비중 높게
    limit=10,
    fusion_type="relative_score"
)
 
for obj in response.objects:
    print(f"Title: {obj.properties['title']}")
    print(f"Score: {obj.metadata.score:.4f}")

version: '3.4'
services:
  weaviate:
    image: cr.weaviate.io/semitechnologies/weaviate:1.27.0
    ports:
      - "8080:8080"
      - "50051:50051"  # gRPC
    environment:
      QUERY_DEFAULTS_LIMIT: 25
      AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'true'
      PERSISTENCE_DATA_PATH: '/var/lib/weaviate'
      DEFAULT_VECTORIZER_MODULE: 'text2vec-openai'
      ENABLE_MODULES: 'text2vec-openai,generative-openai,reranker-cohere'
      OPENAI_APIKEY: ${OPENAI_APIKEY}
      CLUSTER_HOSTNAME: 'node1'
    volumes:
      - weaviate_data:/var/lib/weaviate
 
volumes:
  weaviate_data: