Создание с Milvus: Proptech с интегрированным ИИ для персонализированного поиска недвижимости
Искусственный интеллект (ИИ) имеет мощные применения в недвижимости, которые трансформируют процесс поиска жилья. Технически подкованные специалисты по недвижимости уже много лет используют преимущества ИИ, признавая его способность помогать клиентам быстрее находить подходящее жилье и упрощать процесс покупки недвижимости. Пандемия коронавируса ускорила интерес, внедрение и инвестиции в технологии недвижимости (или proptech) по всему миру, что указывает на то, что в дальнейшем они будут играть все более значительную роль в отрасли недвижимости.
В этой статье рассматривается, как Beike использовала поиск по векторному сходству, чтобы создать платформу для поиска жилья, которая предоставляет персонализированные результаты и рекомендует объявления почти в реальном времени.
Перейти к:
Что такое поиск по векторному сходству?
Поиск по векторному сходству имеет применения в самых разных сценариях искусственного интеллекта, глубокого обучения и традиционных векторных вычислений. Распространение технологий ИИ отчасти связано с векторным поиском и его способностью осмысливать неструктурированные данные, к которым относятся изображения, видео, аудио, поведенческие данные, документы и многое другое.
Неструктурированные данные, по оценкам, составляют 80–90% всех данных, и извлечение из них инсайтов быстро становится необходимым условием для компаний, которые хотят оставаться конкурентоспособными в постоянно меняющемся мире. Растущий спрос на аналитику неструктурированных данных, увеличение вычислительной мощности и снижение стоимости вычислений сделали векторный поиск на базе ИИ доступнее, чем когда-либо.
Понимание различий между структурированными и неструктурированными данными.
Традиционно неструктурированные данные было сложно обрабатывать и анализировать в масштабе, поскольку они не следуют заранее определенной модели или организационной структуре. Нейронные сети (например, CNN, RNN и BERT) позволяют преобразовывать неструктурированные данные в векторы признаков — числовой формат данных, который компьютеры могут легко интерпретировать. Затем алгоритмы используются для вычисления сходства между векторами с применением таких метрик, как косинусное сходство или евклидово расстояние.
В конечном счете поиск по векторному сходству — это широкий термин, описывающий методы выявления похожих объектов в огромных наборах данных. Beike использует эту технологию для работы интеллектуальной поисковой системы недвижимости, которая автоматически рекомендует объявления на основе индивидуальных предпочтений пользователя, истории поиска и критериев объекта недвижимости, ускоряя процесс поиска и покупки недвижимости. Milvus — это векторная база данных с открытым исходным кодом, которая связывает информацию с алгоритмами, позволяя Beike разрабатывать и управлять своей платформой недвижимости на базе ИИ.
Как Milvus управляет векторными данными?
Milvus был создан специально для управления векторными данными большого масштаба и имеет применения в поиске изображений и видео, анализе химического сходства, персонализированных рекомендательных системах, разговорном ИИ и многом другом. Векторные наборы данных, хранящиеся в Milvus, можно эффективно запрашивать, при этом большинство реализаций следуют этому общему процессу:
Как Milvus управляет векторными данными?
Как Beike использует Milvus, чтобы сделать поиск жилья умнее?
Часто описываемая как китайский ответ Zillow, Beike — это онлайн-платформа, которая позволяет агентам по недвижимости размещать объекты для аренды или продажи. Чтобы улучшить опыт поиска жилья для покупателей и помочь агентам быстрее заключать сделки, компания создала поисковую систему на базе ИИ для своей базы данных объявлений. База данных объявлений о недвижимости Beike была преобразована в векторы признаков, а затем передана в Milvus для индексирования и хранения. Затем Milvus используется для выполнения поиска по сходству на основе входного объявления, критериев поиска, профиля пользователя или других критериев.
Например, при поиске домов, более похожих на заданное объявление, извлекаются такие признаки, как планировка, площадь, ориентация, внутренняя отделка, цвета краски и многое другое. Поскольку исходная база данных объявлений о недвижимости была проиндексирована, поиск может выполняться всего за миллисекунды. В конечном продукте Beike среднее время запроса составляло 113 миллисекунд на наборе данных, содержащем более 3 миллионов векторов. Однако Milvus способен поддерживать эффективную скорость на наборах данных триллионного масштаба, с легкостью справляясь с этой относительно небольшой базой данных недвижимости. В целом система следует следующему процессу:
Модели глубокого обучения (например, CNN, RNN или BERT) преобразуют неструктурированные данные в векторы признаков, которые затем импортируются в Milvus.
Milvus хранит и индексирует векторы признаков.
Milvus возвращает результаты поиска по сходству на основе пользовательских запросов.
Обзор Milvus.
Интеллектуальная платформа поиска недвижимости Beike работает на основе рекомендательного алгоритма, который вычисляет сходство векторов с использованием косинусного расстояния. Система находит похожие дома на основе избранных объявлений и критериев поиска. На высоком уровне она работает следующим образом:
На основе входного объявления такие характеристики, как планировка, площадь и ориентация, используются для извлечения 4 коллекций векторов признаков.
Извлеченные коллекции признаков используются для выполнения поиска по сходству в Milvus. Результаты запроса для каждой коллекции векторов представляют собой меру сходства между входным объявлением и другими похожими объявлениями.
Результаты поиска из каждой из 4 коллекций векторов сравниваются, а затем используются для рекомендации похожих домов.
Обзор интеллектуальной платформы поиска жилья Beike.
Как показано на рисунке выше, система реализует механизм переключения таблиц A/B для обновления данных. Milvus хранит данные за первые T дней в таблице A, в день T+1 начинает хранить данные в таблице B, в день 2T+1 начинает перезаписывать таблицу A и так далее.
Чтобы узнать больше о создании решений с Milvus, ознакомьтесь со следующими ресурсами:
Читать далее
How Zilliz Saw the Future of Vector Databases—and Built for Production
An inside look at how Zilliz built vector databases for real-world use, focusing on scalability, stability, and running them reliably at scale.
Balancing Precision and Performance: How Zilliz Cloud's New Parameters Help You Optimize Vector Search
Optimize vector search with Zilliz Cloud’s level and recall features to tune accuracy, balance performance, and power AI applications.
Vector Databases vs. Hierarchical Databases
Use a vector database for AI-powered similarity search; use a hierarchical database for organizing data in parent-child relationships with efficient top-down access patterns.