블로그
🚀 Milvus v2.4.3의 Metadata Filtering 새로운 기능

🚀 Milvus v2.4.3의 Metadata Filtering 새로운 기능

Jun 16, 20243 min read

Milvus v2.4.3에서는 전체 문자열 메타데이터 매칭을 도입했습니다! 🎉 이제 접두사, 중위, 접미사 또는 문자 와일드카드 검색을 사용해 문자열을 매칭할 수 있습니다.

# Prefix example, matches any string starting with “The”.
expression='title like "The%"'
# Infix example, matches any string with the word “the” anywhere in the sentence.
expression='title like "%the%"'
# Postfix example, matches any string ending with “Rye”.
expression='title like "%Rye"'
# Single character wildcard example, matches any one single character at a specific position.
expression='title like "Flip_ed"'

이전 블로그에서는 접두사 문자열 매칭에 대해서만 이야기했습니다. 하지만 Milvus v2.4.3부터는 모든 변형이 가능하며, 배열 값도 정확히 일치시키거나 배열의 어떤 요소든 일치하는지 확인하는 방식(contains_any())으로 사용할 수 있습니다. 🗂️🔍

이러한 업데이트로 메타데이터 필터링이 더욱 다재다능하고 강력해졌습니다!

예시를 통해 이를 더 명확히 해보겠습니다. 이 블로그에서는 Kaggle에서 다운로드한 IMDB 영화 데이터를 사용하겠습니다.

# Import common libraries.
import sys, os, time, pprint
import pandas as pd

# Read CSV data.
df = pd.read_csv("data/original_data.csv")

# Shortcut the data for demo.
df = df.tail(200)
display(df.head())

각 영화에는 설명과 리뷰가 포함된 ‘text’ 필드가 있습니다. 📝

각 영화에는 개봉 연도, 평점, 장르, 배우, 키워드 목록과 같은 메타데이터가 포함되어 있습니다. 🎬⭐️📅

각 “행”은 영화 리뷰 텍스트 청크, 그 벡터 표현, 그리고 movie_id, 영화 제목, 포스터 링크, 장르, 배우와 같은 메타데이터를 나타냅니다.

일반적인 RAG 패턴을 따르면: 📝🎬

Milvus에 연결: 먼저 Milvus의 로컬 배포판인 Milvus Lite에 연결합니다. 이는 벡터를 저장하고 관리하기 위한 데이터베이스입니다. 🖥️🔗
영화 텍스트를 벡터로 변환: 설명과 리뷰가 포함된 각 영화의 텍스트 필드를 가져와 벡터로 변환합니다. 이를 위해 HuggingFace 모델 BAAI/bge-large-en-v1.5을 사용합니다. 🧠➡️📏
📥📊 벡터와 메타데이터를 Milvus에 삽입: 이 벡터를 원본 텍스트(“청크”라고 함) 및 해당 메타데이터(연도, 평점, 장르 등)와 함께 Milvus에 삽입합니다. 📥📊
사용자 쿼리 처리: 동일한 임베딩 모델을 사용해 사용자의 쿼리를 벡터로 변환합니다. 그런 다음 Approximate Nearest Neighbors 검색을 실행하여 쿼리 벡터에 가장 가까운 데이터 벡터를 찾습니다. 🔍🎬

전체 코드는 제 GitHub에서 확인할 수 있습니다.

먼저 Milvus에 연결합니다. Pymilvus를 pip로 설치해야 합니다. (로컬 파일 이름만 지정하면 로컬 벡터 데이터베이스인 Milvus Lite를 사용합니다. Docker나 K8s로 배포된 다른 Milvus 또는 완전 관리형 Zilliz Cloud가 있다면 URI와 Token을 지정해 연결할 수 있습니다. 나머지 코드는 동일하게 작동합니다.)

# !python -m pip install -U pymilvus
import pymilvus
# Connect a client to the Milvus Lite server.
from pymilvus import MilvusClient
client = MilvusClient("milvus_demo.db")

다음으로, 영화 리뷰가 포함된 텍스트 열을 청크로 나누고 임베딩하여 벡터로 변환합니다. 이를 수행하는 방법에 대한 예시는 많은 리소스에서 제공하므로, 여기서는 코드를 다시 보여드리지 않겠습니다. 아래에서는 청크화된 텍스트, 벡터 표현, 메타데이터를 조합하고 데이터를 Milvus에 삽입하는 방법을 보여드립니다.

# Create chunk_list and dict_list in a single loop
dict_list = []
for id, title, chunk, vector, poster_url, director,\
   genres, actors, keywords, film_year, rating in zip(
       df.id, df.Name, chunks, converted_values, df.PosterLink,
       df.Director, df.Genres, df.Actors, df.Keywords,
       df.MovieYear, df.RatingValue):
  
   # Assemble embedding vector, original text chunk, metadata.
   chunk_dict = {
       'movie_index': id,
       'title': title,
       'chunk': chunk.page_content,
       'poster_url': poster_url,
       'director': director,
       'genres': genres,
       'actors': actors,
       'keywords': keywords,
       'film_year': film_year,
       'rating': rating,
       'vector': vector,
   }
   dict_list.append(chunk_dict)

# Insert data into the Milvus collection.
print("Start inserting entities")
start_time = time.time()
client.insert(
   COLLECTION_NAME,
   data=dict_list,
   progress_bar=True)

end_time = time.time()
print(f"Milvus insert time for {len(dict_list)} vectors: ", end="")
print(f"{np.round(end_time - start_time, 2)} seconds")

이제 데이터가 Milvus에 있으므로 검색할 준비가 되었습니다!

문자열 메타데이터 필터를 사용한 검색

로봇이 등장하는 디스토피아적 미래를 다룬 높은 평점의 SF 영화를 찾고 싶다고 가정해 봅시다. 예제 데이터에는 이 검색에 사용할 수 있는 메타데이터가 있습니다.

다음은 퍼지 문자열 매치를 사용한 메타데이터 필터링의 예입니다. 아래에서는 각 검색 후 메타데이터를 더 쉽게 표시하기 위해 기본 Milvus search API만 래핑했습니다.

SAMPLE_QUESTION = "Dystopia science fiction with a robot."
TOP_K = 1
# Metadata filters.
expression='rating >= 7'
# Infix string match.
expression=expression + ' && title like "%Panther%"'
formatted_results, contexts, context_metadata = \
     mc_run_search(SAMPLE_QUESTION, expression, TOP_K)