Milvus로 만들기: 개인화된 부동산 검색을 위한 AI 접목 프롭테크
인공지능(AI)은 주택 검색 과정을 변화시키고 있는 부동산 분야에서 강력한 애플리케이션을 가지고 있습니다. 기술에 능숙한 부동산 전문가들은 수년간 AI를 활용해 왔으며, 고객이 더 빠르게 적합한 집을 찾고 부동산 구매 과정을 간소화하도록 돕는 AI의 능력을 인식해 왔습니다. 코로나바이러스 팬데믹은 전 세계적으로 부동산 기술(또는 proptech)에 대한 관심, 도입, 투자를 가속화했으며, 이는 앞으로 부동산 산업에서 proptech가 점점 더 큰 역할을 하게 될 것임을 시사합니다.
이 글에서는 Beike가 벡터 유사도 검색을 사용하여 개인화된 결과를 제공하고 거의 실시간으로 매물을 추천하는 주택 탐색 플랫폼을 구축한 방법을 살펴봅니다.
바로가기:
벡터 유사도 검색이란 무엇인가요?
벡터 유사도 검색은 다양한 인공지능, 딥러닝, 전통적인 벡터 계산 시나리오 전반에 걸쳐 활용됩니다. AI 기술의 확산은 부분적으로 벡터 검색과, 이미지, 비디오, 오디오, 행동 데이터, 문서 등 훨씬 더 많은 것을 포함하는 비정형 데이터를 이해하게 하는 능력에 기인합니다.
비정형 데이터는 전체 데이터의 약 80~90%를 차지하는 것으로 추정되며, 끊임없이 변화하는 세계에서 경쟁력을 유지하고자 하는 기업에게 이 데이터에서 인사이트를 추출하는 일은 빠르게 필수 요건이 되고 있습니다. 비정형 데이터 분석에 대한 수요 증가, 컴퓨팅 성능 향상, 컴퓨팅 비용 하락으로 인해 AI 기반 벡터 검색은 그 어느 때보다 더 접근 가능해졌습니다.
정형 데이터와 비정형 데이터의 차이 이해하기.
전통적으로 비정형 데이터는 사전 정의된 모델이나 조직 구조를 따르지 않기 때문에 대규모로 처리하고 분석하기 어려웠습니다. 신경망(예: CNN, RNN, BERT)은 비정형 데이터를 컴퓨터가 쉽게 해석할 수 있는 수치 데이터 형식인 특징 벡터로 변환할 수 있게 해줍니다. 그런 다음 알고리즘을 사용하여 코사인 유사도나 유클리드 거리와 같은 지표를 통해 벡터 간 유사도를 계산합니다.
궁극적으로 벡터 유사도 검색은 대규모 데이터셋에서 유사한 대상을 식별하는 기술을 설명하는 포괄적인 용어입니다. Beike는 이 기술을 사용하여 개별 사용자의 선호도, 검색 기록, 부동산 조건을 기반으로 매물을 자동으로 추천하는 지능형 주택 검색 엔진을 구동함으로써 부동산 검색 및 구매 과정을 가속화합니다. Milvus는 정보를 알고리즘과 연결하여 Beike가 AI 부동산 플랫폼을 개발하고 관리할 수 있게 하는 오픈 소스 벡터 데이터베이스입니다.
Milvus는 벡터 데이터를 어떻게 관리하나요?
Milvus는 대규모 벡터 데이터 관리를 위해 특별히 구축되었으며, 이미지 및 비디오 검색, 화학적 유사도 분석, 개인화 추천 시스템, 대화형 AI 등 훨씬 더 많은 분야에 활용됩니다. Milvus에 저장된 벡터 데이터셋은 효율적으로 쿼리할 수 있으며, 대부분의 구현은 다음과 같은 일반적인 과정을 따릅니다:
Milvus는 벡터 데이터를 어떻게 관리하나요?
Beike는 주택 탐색을 더 스마트하게 만들기 위해 Milvus를 어떻게 사용하나요?
흔히 중국의 Zillow라고 묘사되는 Beike는 부동산 중개인이 임대 또는 매매용 매물을 등록할 수 있는 온라인 플랫폼입니다. 주택 구매자의 집 찾기 경험을 개선하고 중개인이 더 빠르게 거래를 성사하도록 돕기 위해, 이 회사는 매물 데이터베이스를 위한 AI 기반 검색 엔진을 구축했습니다. Beike의 부동산 매물 데이터베이스는 특징 벡터로 변환된 뒤 인덱싱과 저장을 위해 Milvus에 입력되었습니다. 이후 Milvus는 입력 매물, 검색 기준, 사용자 프로필 또는 기타 기준을 기반으로 유사도 검색을 수행하는 데 사용됩니다.
예를 들어, 특정 매물과 유사한 더 많은 주택을 검색할 때 평면도, 크기, 방향, 실내 마감재, 페인트 색상 등의 특징이 추출됩니다. 원본 부동산 매물 데이터베이스의 매물 데이터가 인덱싱되어 있으므로, 검색은 단 몇 밀리초 만에 수행될 수 있습니다. Beike의 최종 제품은 300만 개가 넘는 벡터가 포함된 데이터셋에서 평균 쿼리 시간이 113밀리초였습니다. 그러나 Milvus는 조 단위 규모의 데이터셋에서도 효율적인 속도를 유지할 수 있어, 이처럼 비교적 작은 부동산 데이터베이스는 가볍게 처리합니다. 일반적으로 시스템은 다음 프로세스를 따릅니다:
딥러닝 모델(예: CNN, RNN 또는 BERT)이 비정형 데이터를 특징 벡터로 변환한 뒤, Milvus로 가져옵니다.
Milvus는 특징 벡터를 저장하고 인덱싱합니다.
Milvus는 사용자 쿼리를 기반으로 유사도 검색 결과를 반환합니다.
Milvus 개요.
Beike의 지능형 부동산 검색 플랫폼은 코사인 거리를 사용해 벡터 유사도를 계산하는 추천 알고리즘으로 구동됩니다. 이 시스템은 즐겨찾기한 매물과 검색 기준을 기반으로 유사한 주택을 찾습니다. 개략적으로는 다음과 같이 작동합니다:
입력 매물을 기반으로 평면도, 크기, 방향 등의 특성을 사용해 4개의 특징 벡터 컬렉션을 추출합니다.
추출된 특징 컬렉션은 Milvus에서 유사도 검색을 수행하는 데 사용됩니다. 각 벡터 컬렉션에 대한 쿼리 결과는 입력 매물과 다른 유사 매물 간의 유사도 척도입니다.
4개의 벡터 컬렉션 각각에서 나온 검색 결과를 비교한 뒤, 유사한 주택을 추천하는 데 사용합니다.
Beike의 지능형 주택 검색 플랫폼 개요.
위 그림에서 볼 수 있듯이, 이 시스템은 데이터 업데이트를 위해 A/B 테이블 전환 메커니즘을 구현합니다. Milvus는 처음 T일 동안 데이터를 테이블 A에 저장하고, T+1일째에는 테이블 B에 데이터를 저장하기 시작하며, 2T+1일째에는 테이블 A를 다시 쓰기 시작하는 식으로 진행됩니다.
Milvus로 무언가를 만드는 방법에 대해 더 알아보려면 다음 리소스를 확인하세요:
계속 읽기
Why We Built Vector Lakebase: Rethinking Unstructured Data Architecture for AI
Vector Lakebase: a unified, lake-native data foundation for AI workloads — and an answer to what happens after vector databases succeed.
What Exactly Are AI Agents? Why OpenAI and LangChain Are Fighting Over Their Definition?
AI agents are software programs powered by AI that can perceive their environment, make decisions, and take actions to achieve a goal—often autonomously.
OpenAI o1: What Developers Need to Know
In this article, we will talk about the o1 series from a developer's perspective, exploring how these models can be implemented for sophisticated use cases.