Лучшая векторная база данных стала ещё лучше
Благодаря широкому распространению ChatGPT и других LLM векторные базы данных стали более популярными в 2023 году.
Хотя многие клиенты Zilliz Cloud используют наш сервис в тех или иных системах генерации с дополнением извлечением (RAG), мы также наблюдали внедрение в различных системах поиска и извлечения. Это не аномалия; в широком смысле Zilliz Cloud предназначен для того, чтобы компьютеры могли по-настоящему понимать данные, созданные людьми, — от текста и изображений до банковских транзакций и поведения пользователей.
Сегодня мы представили следующий шаг в нашей эволюции, добавив в Zilliz Cloud множество новых функций — поиск по диапазону, мультитенантность и RBAC, до 10 раз улучшенную производительность поиска и индексирования и многое другое. Но почему мы решили внедрить эти функции? Ответ прост: этого потребовали наши пользователи. Приложения, которые они создают, и инженерные задачи, которые они решают, требуют специализированной векторной базы данных, поддерживающей ключевые функции баз данных и разнообразные рабочие нагрузки. В оставшейся части этой публикации я рассмотрю три реальных клиентских сценария использования, в которых новые возможности Zilliz Cloud были не просто полезны, а критически важны для разработки и успеха приложений наших пользователей.
Давайте начнем.
Эффективные автономные агенты
Память — фрагменты текста, добавляемые в контекстное окно LLM, чтобы предоставить ей историческую информацию, — пожалуй, является одним из самых важных компонентов автономного агента (виртуального персонажа). Контекстные окна серьезно ограничены по трем разным причинам: 1) они не бесконечны, 2) длинные контексты значительно замедляют генерацию текста, и 3) большинство LLM с длинным контекстом, как правило, «помнят» информацию только в начале и в конце контекстного окна. Векторные базы данных решают все эти проблемы.
Возьмем в качестве примера бота клиентской поддержки или агента поддержки. В таком приложении множество различных фрагментов информации, т. е. исходная база знаний, все запросы пользователя, изображения, загруженные пользователями, аудиофрагменты, все ответы агента и т. д., должны храниться в Zilliz Cloud, чтобы обеспечить быстрое извлечение. Каждый раз, когда клиент вводит сообщение, необходимо извлекать весь релевантный контент из базы знаний и предыдущих бесед, что делает эту рабочую нагрузку одновременно интенсивной по чтению и записи, с огромными объемами данных сообщений, сохраняемыми каждую секунду.
Чтобы сделать эту задачу еще более сложной, данные, поступающие этому агенту клиентской поддержки, по своей природе мультимодальны; одного лишь текстового поиска просто недостаточно. Распределенная архитектура базы данных Zilliz уже поддерживает это в огромном масштабе — увеличивайте количество query node для более высокой пропускной способности чтения и количество data node для более высокой пропускной способности записи, — но решающим фактором стал наш новый векторный поисковый движок Cardinal. Cardinal включает наш собственный проприетарный векторный индекс, множество вычислительных оптимизаций на уровне машинного кода и алгоритмы, учитывающие кэш, среди многих других оптимизаций производительности. Короче говоря, для этого конкретного приложения Zilliz Cloud в итоге обеспечил такую же пропускную способность поиска и индексирования, как и другие векторные базы данных, менее чем за треть их цены. Там, где годовая стоимость других решений для векторного поиска была непосильной, мы подключились и сделали этого автономного агента реальностью.
Рекомендации товаров
Рекомендательные системы предназначены для продвижения разнообразного контента, например, продуктов, новостей, пользовательского контента и т. д., на основе предыдущей истории просмотров или браузинга потребителя. Векторные базы данных идеально подходят для такого рода приложений — благодаря векторизации и хранению каждого отдельного элемента в Zilliz Cloud рекомендации можно выполнять простым вызовом collection.search. Полученные ближайшие соседи сами по себе являются наиболее релевантными рекомендациями.
Быстрые и релевантные рекомендации — обязательное условие для любого B2C-продукта, но в мире электронной коммерции рекомендации товаров особенно важны для общего пользовательского опыта и могут быть невероятно эффективными драйверами выручки. Одной из ключевых миссий наших пользователей было повышение производительности их системы рекомендаций товаров за счет использования ИИ. Как и у многих других, их сценарий использования был крайне чувствителен к задержкам — запросы к их векторной базе данных должны были выполняться в течение 10 миллисекунд, чтобы поддерживать хороший опыт конечных пользователей, — и требовал умеренной пропускной способности. Более того, эти рекомендации не были обычными поисковыми запросами. Их конечным пользователям часто требовались отфильтрованные рекомендации (например, определенные размеры одежды или конкретный размер обуви). Эта сложность распространялась и на характер данных о товарах, которые изначально были мультимодальными и включали названия товаров, описания и изображения.
Cardinal позволил им выполнить требования к производительности, но динамическая схема Zilliz Cloud и поддержка JSON оказались здесь решающим преимуществом. Это позволило клиенту адаптировать свои модели данных к специфическим характеристикам каждого класса товаров, обеспечивая эффективное хранение и запросы разнообразных и сложных метаданных вместе с каждым вектором. Эта адаптивность в сочетании с превосходной производительностью Cardinal стала решающим фактором для данного клиента.
Поиск лекарств на основе ИИ
Поиск лекарств — невероятно сложная задача. Молекулы лекарственных препаратов могут различаться по размеру: от «малых молекул» с десятками атомов до крупных биологических препаратов с десятками тысяч атомов. Машинное обучение может векторизовать каждую молекулу, создавая представление на основе ее функции, например лечения конкретного заболевания или симптома.
В этом процессе функция range search в Zilliz Cloud играет ключевую роль. Исследователи векторизуют целевое заболевание или симптом и выполняют поиск в Zilliz Cloud для нахождения лекарств-кандидатов. Range search выходит за рамки стандартного поиска top-k, находя все векторы (молекулы) в пределах определенного расстояния от цели и предоставляя всех релевантных кандидатов вместо фиксированного числа. Эта функция жизненно важна не только для поиска лекарств, но также применима в таких областях, как выявление мошенничества и кибербезопасность. Например, в банковской сфере транзакции векторизуются и сравниваются с новыми транзакциями с помощью range search, чтобы выявлять похожие прошлые действия, помогая обнаруживать выбросы.
Заключительные слова
RAG был и продолжит оставаться невероятно важным для нас, но это лишь верхушка айсберга векторных баз данных. Здесь мы представили три реальных сценария использования, напрямую обеспеченных некоторыми из новых функций, о которых мы объявляем сегодня. При сравнении Zilliz Cloud с другими векторными базами данных эти функции были и продолжат быть определяющим фактором успеха.
С учетом сказанного, не верьте мне на слово. Многие типы данных можно векторизовать, хранить и запрашивать внутри Zilliz Cloud. Попробуйте прямо сейчас бесплатно, без сложностей с установкой, и пусть начнется революция данных.
Читать далее
Introducing Business Critical Plan: Enterprise-Grade Security and Compliance for Mission-Critical AI Applications
Discover Zilliz Cloud’s Business Critical Plan—offering advanced security, compliance, and uptime for mission-critical AI and vector database workloads.
Why Teams Are Migrating from Weaviate to Zilliz Cloud — and How to Do It Seamlessly
Explore how Milvus scales for large datasets and complex queries with advanced features, and discover how to migrate from Weaviate to Zilliz Cloud.
Milvus/Zilliz + Surveillance: How Vector Databases Transform Multi-Camera Tracking
See how Milvus vector database enhances multi-camera tracking with similarity-based matching for better surveillance in retail, warehouses and transport hubs.