데이터를 Milvus로 원활하게 마이그레이션하는 방법: 종합 가이드
Milvus는 유사도 검색을 위한 강력한 오픈 소스 벡터 데이터베이스로, 수십억 개는 물론 수조 개의 벡터 데이터를 최소한의 지연 시간으로 저장, 처리, 검색할 수 있습니다. 또한 확장성이 뛰어나고, 안정적이며, 클라우드 네이티브이고, 풍부한 기능을 갖추고 있습니다. Milvus의 최신 릴리스는 10배 이상 더 빠른 성능을 위한 GPU 지원과 단일 머신에서 더 큰 저장 용량을 제공하는 MMap을 포함해 더욱 흥미로운 기능과 개선 사항을 도입합니다.
2023년 9월 기준, Milvus는 GitHub에서 거의 23,000개의 스타를 획득했으며, 다양한 요구를 가진 여러 산업 분야의 수만 명의 사용자를 보유하고 있습니다. ChatGPT와 같은 생성형 AI 기술이 더욱 널리 보급되면서 Milvus의 인기는 더욱 높아지고 있습니다. Milvus는 다양한 AI 스택의 필수 구성 요소이며, 특히 대규모 언어 모델의 환각 문제를 해결하는 검색 증강 생성 프레임워크에서 중요합니다.
Milvus로 마이그레이션하려는 신규 사용자와 최신 Milvus 버전으로 업그레이드하려는 기존 사용자의 증가하는 수요를 충족하기 위해, 우리는 Milvus Migration을 개발했습니다. 이 블로그에서는 Milvus Migration의 기능을 살펴보고, Milvus 1.x, FAISS, Elasticsearch 7.0 이상에서 Milvus로 데이터를 빠르게 전환하는 방법을 안내합니다.
Milvus Migration, 강력한 데이터 마이그레이션 도구
Milvus Migration은 Go로 작성된 데이터 마이그레이션 도구입니다. 사용자가 이전 버전의 Milvus(1.x), FAISS, Elasticsearch 7.0 이상에서 Milvus 2.x 버전으로 데이터를 원활하게 이동할 수 있도록 합니다.
아래 다이어그램은 우리가 Milvus Migration을 어떻게 구축했는지와 그것이 어떻게 작동하는지를 보여줍니다.
Milvus Migration이 데이터를 마이그레이션하는 방법
Milvus 1.x 및 FAISS에서 Milvus 2.x로
Milvus 1.x 및 FAISS에서의 데이터 마이그레이션은 원본 데이터 파일의 내용을 파싱하고, 이를 Milvus 2.x의 데이터 저장 형식으로 변환한 뒤, Milvus SDK의 bulkInsert를 사용해 데이터를 작성하는 과정을 포함합니다. 이 전체 과정은 스트림 기반이며, 이론적으로는 디스크 공간에 의해서만 제한되고, 데이터 파일을 로컬 디스크, S3, OSS, GCP 또는 Minio에 저장합니다.
Elasticsearch에서 Milvus 2.x로
Elasticsearch 데이터 마이그레이션에서는 데이터 검색 방식이 다릅니다. 데이터는 파일에서 얻는 것이 아니라 Elasticsearch의 scroll API를 사용해 순차적으로 가져옵니다. 그런 다음 데이터를 파싱하고 Milvus 2.x 저장 형식으로 변환한 뒤, bulkInsert를 사용해 작성합니다. Elasticsearch에 저장된 dense_vector 유형 벡터를 마이그레이션하는 것 외에도, Milvus Migration은 long, integer, short, boolean, keyword, text, double을 포함한 다른 필드 유형의 마이그레이션도 지원합니다.
Milvus Migration 기능 세트
Milvus Migration은 강력한 기능 세트를 통해 마이그레이션 프로세스를 단순화합니다:
지원되는 데이터 소스:
Milvus 1.x에서 Milvus 2.x로
Elasticsearch 7.0 이상에서 Milvus 2.x로
FAISS에서 Milvus 2.x로
다양한 상호작용 모드:
Cobra 프레임워크를 사용하는 명령줄 인터페이스(CLI)
내장 Swagger UI가 있는 Restful API
다른 도구에서 Go 모듈로 통합
다재다능한 파일 형식 지원:
로컬 파일
Amazon S3
Object Storage Service (OSS)
Google Cloud Platform (GCP)
유연한 Elasticsearch 통합:
Elasticsearch에서
dense_vector유형 벡터 마이그레이션long, integer, short, boolean, keyword, text, double과 같은 기타 필드 유형 마이그레이션 지원
인터페이스 정의
Milvus Migration은 다음과 같은 주요 인터페이스를 제공합니다:
/start: 마이그레이션 작업을 시작합니다(덤프와 로드의 조합에 해당하며, 현재 ES 마이그레이션만 지원)./dump: 덤프 작업을 시작합니다(소스 데이터를 대상 스토리지 매체에 씁니다)./load: 로드 작업을 시작합니다(대상 스토리지 매체의 데이터를 Milvus 2.x에 씁니다)./get_job: 사용자가 작업 실행 결과를 확인할 수 있습니다. (자세한 내용은 프로젝트의 server.go를 참조하세요)
다음으로, 이 섹션에서는 몇 가지 예제 데이터를 사용하여 Milvus Migration을 사용하는 방법을 살펴보겠습니다. 이러한 예제는 GitHub의 여기에서 확인할 수 있습니다.
Elasticsearch에서 Milvus 2.x로 마이그레이션
- Elasticsearch 데이터 준비
Elasticsearch 데이터를 마이그레이션하려면, 자체 Elasticsearch 서버를 이미 설정해 두어야 합니다. 벡터 데이터는 dense_vector 필드에 저장하고 다른 필드와 함께 인덱싱해야 합니다. 인덱스 매핑은 아래와 같습니다.
- 컴파일 및 빌드
먼저 GitHub에서 Milvus Migration의 소스 코드를 다운로드합니다. 그런 다음, 다음 명령을 실행하여 컴파일합니다.
go get
go build
이 단계에서는 milvus-migration이라는 실행 파일이 생성됩니다.
migration.yaml구성
마이그레이션을 시작하기 전에, 데이터 소스, 대상 및 기타 관련 설정에 대한 정보를 포함하는 migration.yaml이라는 구성 파일을 준비해야 합니다. 다음은 구성 예시입니다:
# Configuration for Elasticsearch to Milvus 2.x migration
dumper:
worker:
workMode: Elasticsearch
reader:
bufferSize: 2500
meta:
mode: config
index: test_index
fields:
- name: id
pk: true
type: long
- name: other_field
maxLen: 60
type: keyword
- name: data
type: dense_vector
dims: 512
milvus:
collection: "rename_index_test"
closeDynamicField: false
consistencyLevel: Eventually
shardNum: 1
source:
es:
urls:
- http://localhost:9200
username: xxx
password: xxx
target:
mode: remote
remote:
outputDir: outputPath/migration/test1
cloud: aws
region: us-west-2
bucket: xxx
useIAM: true
checkBucket: false
milvus2x:
endpoint: {yourMilvusAddress}:{port}
username: ******
password: ******
구성 파일에 대한 더 자세한 설명은 GitHub의 이 페이지를 참조하세요.
- 마이그레이션 작업 실행
이제 migration.yaml 파일을 구성했으므로, 다음 명령을 실행하여 마이그레이션 작업을 시작할 수 있습니다:
./milvus-migration start --config=/{YourConfigFilePath}/migration.yaml
로그 출력을 확인하세요. 다음과 유사한 로그가 표시되면 마이그레이션이 성공했다는 의미입니다.
[task/load_base_task.go:94] ["[LoadTasker] Dec Task Processing-------------->"] [Count=0] [fileName=testfiles/output/zwh/migration/test_mul_field4/data_1_1.json] [taskId=442665677354739304][task/load_base_task.go:76] ["[LoadTasker] Progress Task --------------->"] [fileName=testfiles/output/zwh/migration/test_mul_field4/data_1_1.json] [taskId=442665677354739304][dbclient/cus_field_milvus2x.go:86] ["[Milvus2x] begin to ShowCollectionRows"][loader/cus_milvus2x_loader.go:66] ["[Loader] Static: "] [collection=test_mul_field4_rename1] [beforeCount=50000] [afterCount=100000] [increase=50000][loader/cus_milvus2x_loader.go:66] ["[Loader] Static Total"] ["Total Collections"=1] [beforeTotalCount=50000] [afterTotalCount=100000] [totalIncrease=50000][migration/es_starter.go:25] ["[Starter] migration ES to Milvus finish!!!"] [Cost=80.009174459][starter/starter.go:106] ["[Starter] Migration Success!"] [Cost=80.00928425][cleaner/remote_cleaner.go:27] ["[Remote Cleaner] Begin to clean files"] [bucket=a-bucket] [rootPath=testfiles/output/zwh/migration][cmd/start.go:32] ["[Cleaner] clean file success!"]
명령줄 방식 외에도 Milvus Migration은 Restful API를 사용한 마이그레이션도 지원합니다.
Restful API를 사용하려면 다음 명령으로 API 서버를 시작하세요.
./milvus-migration server run -p 8080
서비스가 실행되면 API를 호출하여 마이그레이션을 시작할 수 있습니다.
curl -XPOST http://localhost:8080/api/v1/start
마이그레이션이 완료되면 올인원 벡터 데이터베이스 관리 도구인 Attu를 사용하여 마이그레이션에 성공한 총 행 수를 확인하고 기타 컬렉션 관련 작업을 수행할 수 있습니다.
Attu 인터페이스
Milvus 1.x에서 Milvus 2.x로 마이그레이션
- Milvus 1.x 데이터 준비
마이그레이션 과정을 빠르게 체험할 수 있도록 Milvus Migration의 소스 코드에 10,000개의 Milvus 1.x 테스트 데이터 레코드를 넣어두었습니다. 하지만 실제 사례에서는 마이그레이션 프로세스를 시작하기 전에 Milvus 1.x 인스턴스에서 자체 meta.json 파일을 내보내야 합니다.
- 다음 명령으로 데이터를 내보낼 수 있습니다.
./milvus-migration export -m "user:password@tcp(adderss)/milvus?charset=utf8mb4&parseTime=True&loc=Local" -o outputDir
다음을 확인하세요.
자리 표시자를 실제 MySQL 자격 증명으로 바꾸세요.
이 내보내기를 수행하기 전에 Milvus 1.x 서버를 중지하거나 데이터 쓰기를 중단하세요.
Milvus
tables폴더와meta.json파일을 같은 디렉터리에 복사하세요.
참고: Zilliz Cloud(Milvus의 완전 관리형 서비스)에서 Milvus 2.x를 사용하는 경우 Cloud Console을 사용하여 마이그레이션을 시작할 수 있습니다.
- 컴파일 및 빌드
먼저 GitHub에서 Milvus Migration의 소스 코드를 다운로드합니다. 그런 다음, 다음 명령을 실행하여 컴파일합니다.
go get
go build
이 단계에서는 milvus-migration이라는 실행 파일이 생성됩니다.
migration.yaml구성
소스, 대상 및 기타 관련 설정에 대한 세부 정보를 지정하는 migration.yaml 구성 파일을 준비합니다. 다음은 예시 구성입니다.
# Configuration for Milvus 1.x to Milvus 2.x migration
dumper:
worker:
limit: 2
workMode: milvus1x
reader:
bufferSize: 1024
writer:
bufferSize: 1024
loader:
worker:
limit: 16
meta:
mode: local
localFile: /outputDir/test/meta.json
source:
mode: local
local:
tablesDir: /db/tables/
target:
mode: remote
remote:
outputDir: "migration/test/xx"
ak: xxxx
sk: xxxx
cloud: aws
endpoint: 0.0.0.0:9000
region: ap-southeast-1
bucket: a-bucket
useIAM: false
useSSL: false
checkBucket: true
milvus2x:
endpoint: localhost:19530
username: xxxxx
password: xxxxx
구성 파일에 대한 더 자세한 설명은 GitHub의 이 페이지를 참조하세요.
- 마이그레이션 작업 실행
마이그레이션을 완료하려면 dump 및 load 명령을 별도로 실행해야 합니다. 이 명령들은 데이터를 변환하고 Milvus 2.x로 가져옵니다.
참고: 곧 이 단계를 간소화하여 사용자가 단 하나의 명령으로 마이그레이션을 완료할 수 있도록 할 예정입니다. 계속 지켜봐 주세요.
Dump 명령:
./milvus-migration dump --config=/{YourConfigFilePath}/migration.yaml
Load 명령:
./milvus-migration load --config=/{YourConfigFilePath}/migration.yaml
마이그레이션 후 Milvus 2.x에서 생성된 컬렉션에는 id와 data라는 두 개의 필드가 포함됩니다. 올인원 벡터 데이터베이스 관리 도구인 Attu를 사용하여 더 자세한 내용을 확인할 수 있습니다.
FAISS에서 Milvus 2.x로 마이그레이션
- FAISS 데이터 준비
Elasticsearch 데이터를 마이그레이션하려면 자체 FAISS 데이터를 준비해야 합니다. 마이그레이션 프로세스를 빠르게 경험할 수 있도록 Milvus Migration의 소스 코드에 일부 FAISS 테스트 데이터를 넣어 두었습니다.
- 컴파일 및 빌드
먼저 Milvus Migration의 GitHub 소스 코드를 다운로드합니다. 그런 다음 다음 명령을 실행하여 컴파일합니다.
go get
go build
이 단계에서는 milvus-migration이라는 실행 파일이 생성됩니다.
migration.yaml구성
FAISS 마이그레이션을 위한 migration.yaml 구성 파일을 준비하여 소스, 대상 및 기타 관련 설정에 대한 세부 정보를 지정합니다. 다음은 구성 예시입니다.
# Configuration for FAISS to Milvus 2.x migration
dumper:
worker:
limit: 2
workMode: FAISS
reader:
bufferSize: 1024
writer:
bufferSize: 1024
loader:
worker:
limit: 2
source:
mode: local
local:
FAISSFile: ./testfiles/FAISS/FAISS_ivf_flat.index
target:
create:
collection:
name: test1w
shardsNums: 2
dim: 256
metricType: L2
mode: remote
remote:
outputDir: testfiles/output/
cloud: aws
endpoint: 0.0.0.0:9000
region: ap-southeast-1
bucket: a-bucket
ak: minioadmin
sk: minioadmin
useIAM: false
useSSL: false
checkBucket: true
milvus2x:
endpoint: localhost:19530
username: xxxxx
password: xxxxx
구성 파일에 대한 더 자세한 설명은 GitHub의 이 페이지를 참조하세요.
- 마이그레이션 작업 실행
Milvus 1.x에서 Milvus 2.x로의 마이그레이션과 마찬가지로, FAISS 마이그레이션에는 dump 및 load 명령을 모두 실행해야 합니다. 이 명령들은 데이터를 변환하고 Milvus 2.x로 가져옵니다.
참고: 곧 이 단계를 간소화하여 사용자가 단 하나의 명령으로 마이그레이션을 완료할 수 있도록 할 예정입니다. 계속 지켜봐 주세요.
Dump 명령:
./milvus-migration dump --config=/{YourConfigFilePath}/migration.yaml
Load 명령:
./milvus-migration load --config=/{YourConfigFilePath}/migration.yaml
올인원 벡터 데이터베이스 관리 도구인 Attu를 사용하여 더 자세한 내용을 확인할 수 있습니다.
향후 마이그레이션 계획을 계속 지켜봐 주세요
향후에는 다음을 포함하여 더 많은 데이터 소스에서의 마이그레이션을 지원하고 더 많은 마이그레이션 기능을 추가할 예정입니다.
Redis에서 Milvus로의 마이그레이션 지원.
MongoDB에서 Milvus로의 마이그레이션 지원.
재개 가능한 마이그레이션 지원.
dump 및 load 프로세스를 하나로 병합하여 마이그레이션 명령 간소화.
기타 주요 데이터 소스에서 Milvus로의 마이그레이션 지원.
결론
Milvus의 최신 릴리스인 Milvus 2.3은 증가하는 데이터 관리 요구 사항에 부응하는 흥미로운 새로운 기능과 성능 개선을 제공합니다. 데이터를 Milvus 2.x로 마이그레이션하면 이러한 이점을 누릴 수 있으며, Milvus Migration 프로젝트를 통해 마이그레이션 프로세스를 간소하고 쉽게 진행할 수 있습니다. 한번 사용해 보세요. 실망하지 않으실 겁니다.
참고: 이 블로그의 정보는 2023년 9월 기준 Milvus 및 Milvus Migration 프로젝트의 상태를 기반으로 합니다. 최신 정보와 지침은 공식 Milvus 문서를 확인하세요.
계속 읽기
Zilliz Cloud Enterprise Vector Search Powers High-Performance AI on AWS
Zilliz Cloud on AWS powers secure, scalable, ultra-fast vector search for enterprise AI apps, with BYOC, sub-10ms latency, and zero-DevOps simplicity.
How to Use Anthropic MCP Server with Milvus
MCP + Milvus: Streamline AI agent development with standardized data access, eliminating integration hassles while enhancing context and flexibility.
Optimizing Embedding Model Selection with TDA Clustering: A Strategic Guide for Vector Databases
Discover how Topological Data Analysis (TDA) reveals hidden embedding model weaknesses and helps optimize vector database performance.