Топ-5 поисковых систем на базе ИИ, о которых стоит знать в 2025 году
Введение
С развитием больших языковых моделей (LLM), таких как ChatGPT, поиск информации в интернете стал более эффективным и простым. Большие языковые модели обучаются на огромных текстовых корпусах с миллиардами параметров, что позволяет им понимать и интерпретировать человеческий язык. Традиционно поисковые системы полагались на простые методы, такие как сопоставление ключевых слов и ранжирование, чтобы находить наиболее релевантные веб-страницы или ссылки, когда пользователь задает вопрос. Однако поисковые системы, такие как Open AI Search или Perplexity, интегрированы с LLM, которые могут точно определять намерение пользователя и генерировать персонализированный ответ на запрос пользователя. Поисковые системы AI могут иметь множество применений в таких отраслях, как здравоохранение, электронная коммерция и развлечения, где поддержка мультимодальных запросов может улучшить клиентский опыт. Например, пользователь может загрузить изображение продукта и найти похожие товары или быстро продиктовать свои требования с помощью голосовых команд.
В этой статье я познакомлю вас с несколькими крупными поисковыми системами AI и расскажу об их внутренней работе, ключевых функциях и проблемах.
1. OpenAI Search (на базе GPT)
Open AI search — это широко используемая поисковая система AI, которая может анализировать различные результаты поиска и генерировать человекоподобные ответы на запросы пользователя. Разговорный характер запросов делает ее удобным для пользователя интерфейсом. Она работает на моделях GPT (Generative Pre-trained transformers), таких как последняя версия GPT-4 или более экономичная GPT-3.5, в зависимости от сложности задачи.
Ключевые возможности Open AI Search:
Контекстное понимание: модели GPT имеют архитектуру на основе transformer, которая использует механизм self-attention, что позволяет ей сохранять и обрабатывать предыдущие вводы пользователя и искать контекстуально корректные ответы.
Персонализированные ответы: вместо того чтобы предоставлять набор ссылок, как традиционные поисковые системы, Open AI использует модели GPT для сканирования всех источников, извлечения релевантной информации и ее суммирования для пользователя в предпочитаемом им формате. Например, пользователи могут попросить GPT генерировать ответы в виде кратких маркированных списков, подробных абзацев, статистических отчетов и многого другого.
Код и техническая поддержка: модели GPT также обучены понимать различные языки программирования, такие как Python, C++ и Javascript, и могут помогать пользователям отлаживать или оптимизировать их код.
Точное извлечение данных с использованием embeddings: помимо веб-поиска, пользователи также могут загружать документы или наборы данных и использовать OpenAI для запросов и поиска необходимой информации. У OpenAI есть API, которые преобразуют пользовательские запросы в vector embeddings, которые сопоставляются с векторным набором данных для поиска наиболее похожих точек данных. 2. Google AI Overview
Текущие проблемы
Хотя модели GPT регулярно обновляются, поиск не происходит в реальном времени и может упускать последние достижения.
Смещение обобщения — распространенная проблема LLM, таких как GPT, которые обучаются на очень широких наборах данных, и ответ может не обладать необходимой технической глубиной или нюансами. С этим часто сталкиваются в таких областях, как здравоохранение и право, где необходим высокий уровень предметных знаний.
Open AI search не предоставляет ссылки на цитирования или прямые источники информации, и пользователям может потребоваться выполнить дополнительную проверку фактов перед использованием результатов.
Модели GPT могут непреднамеренно генерировать предвзятые ответы в отношении пола или сообществ, если исходные обучающие данные имеют предвзятость.
2. Google AI Overview
Поисковая система Google на базе ИИ может генерировать точные и персонализированные ответы на запросы пользователей, просматривая веб в реальном времени. Поисковая система интегрирована с Google Gemini, мультимодальной LLM, предназначенной для обработки и генерации различных типов данных, включая текст, изображения, видео и аудио. LLM имеет архитектуру на основе трансформеров, оптимизированную для сохранения контекста во время разговора. Последняя версия Gemini обладает расширенными функциями, такими как улучшенное контекстное окно, которое позволяет ей обрабатывать сложные запросы, например вопросы на рассуждение или генерацию подробных отчетов. Помимо Gemini, поисковая система также использует модели, такие как LaMDA (Language Model for Dialogue Applications), которые были разработаны специально для задач разговорного ИИ.
Ключевые возможности:
Алгоритмы ранжирования на основе ML: Google AI использовал алгоритмы машинного обучения, такие как RankNet и LambdaRank, для ранжирования результатов поиска, отдавая приоритет качеству информации. Эти алгоритмы измеряют качество содержимого веб-страницы через релевантность ключевых слов, обратные ссылки, поведение пользователей и надежность.
Улучшенное рассуждение и логика: Поисковая система Google также демонстрирует значительное улучшение в логическом рассуждении и может обрабатывать сложные запросы.. Она использует PaLM (Pathways Language Model), которая была обучена на математических наборах данных.
Обработка изображений и видео в реальном времени: Широкая мультимодальная поддержка — это то, что отличает Google AI от других поисковых систем. Пользователи могут загрузить изображение или видео и задать запрос поисковой системе. Например, можно загрузить изображение растения и спросить Google: «Что это за растение и какие удобрения мне следует для него использовать?» Это также можно использовать для распознавания лиц, обнаружения объектов или создания живых транскрипций из видео во время вебинара или панельной дискуссии.
Расширенное контекстное понимание: Поскольку последняя модель Gemini разработана с более длинными контекстными окнами, она может лучше обрабатывать крупномасштабные запросы. Например, пользователи могут загрузить 300-страничный документ о рыночных тенденциях и задать запрос: «Кратко изложи, как на рыночные тенденции повлияла сезонность?»
Перевод на более чем 100+ языков: LLM Google обучены более чем на сотне региональных языков, таких как китайский, хинди и другие. Их можно использовать для точного перевода новостных статей, транскриптов или даже книг.
Текущие проблемы
Низкая прозрачность и объяснимость: Google AI опирается на несколько сложных моделей, и трудно объяснить, почему был дан определенный ответ или принято определенное решение.
Google собирает и обрабатывает огромные объемы пользовательских данных, чтобы предоставлять персонализированные результаты поиска. Это вызывает опасения в отношении конфиденциальности и безопасности пользовательских данных.
Она оптимизирована для скорости и может упускать подробную информацию при генерации результатов
3. Bing Search
Bing search была разработана Microsoft, она сочетает традиционные методы веб-поиска с моделями ИИ для повышения релевантности поиска. Bing Chat интегрирован с моделями GPT от Open AI и BERT (Bidirectional Encoder Representations from Transformers). Он использует сочетание традиционных методов ранжирования, таких как веб-сканирование и индексирование, с продвинутыми ML-моделями — находя правильный баланс. Bing Chat также можно использовать для персонализированного шопинга, поскольку он фильтрует результаты на основе истории пользователя, местоположения и т. д.
Ключевые возможности
Комплексный веб-поиск: Bing использовал автоматизированных ботов, таких как веб-краулеры, для просмотра миллиардов веб-страниц, извлекая их метаданные, структуру страниц и медиа. После сканирования данные проходят через поисковый индекс и ранжирование Bing, чтобы отобрать наиболее релевантные веб-страницы для пользователя.
Интеграция с экосистемой Microsoft: Bing Search интегрирован со многими продуктами Microsoft, такими как MS Word, Powerpoint, Microsoft Teams и Onedrive. Пользователи могут использовать Bing AI для подготовки презентаций PowerPoint с помощью запросов вроде «Create a slide with 5 points on climate change initiatives». Его можно использовать в Outlook для составления и планирования отправки электронных писем.
Поддержка визуального поиска и предпросмотра видео: Bing также поддерживает мультимодальный поиск. Например, пользователи могут загрузить изображение обуви из журнала и задать запрос «Where can I find these shoes online?». Bing chat также предлагает интерактивные предпросмотры видео при генерации ответов: пользователи могут навести курсор на значок и получить представление, не переходя по фактической ссылке.
Персонализированные результаты поиска: Bing search отлично справляется с поиском ближайших ресторанов или событий, происходящих в регионе. Он использует географическое местоположение клиента и находит наиболее релевантные совпадения с запросом. Bing Maps также доступен в Bing search, что упрощает визуализацию.
Помимо этого, в Bing Search также есть программа Microsoft rewards, с помощью которой пользователи могут зарабатывать баллы за поиск и позже обменивать их.
Текущие проблемы :
Bing AI search страдает от ограниченного понимания контекста в доменно-специфических запросах и не может работать на одном уровне в продвинутом рассуждении по сравнению с Open AI или Google AI search. Он может галлюцинировать при столкновении со сложными запросами.
Поскольку Bing search в первую очередь полагается на индексацию Bing search, результаты могут быть неточными при задержке индексации новых или обновленных веб-страниц.
У него ограниченная интеграция с другими продуктами, такими как экосистема Apple или Google
4. Perplexity
Perplexity AI — это поисковая система, которая предоставляет контекстуально релевантные ответы вместе со ссылками на источники на запросы пользователей. Платформа интегрирована с различными LLM, включая GPT от Open AI, Claude, Mistral и собственные кастомные модели. Perplexity широко используется исследователями, поскольку фокусируется на предоставлении проверяемых ответов вместе с источниками. Она обслуживает широкий спектр запросов, используя разнообразный набор LLM и агрегируя их ответы.
Ключевые возможности:
Предоставляет ссылки на источники: Акцент Perplexity на прозрачности ответов выделяет ее среди конкурентов. Она предоставляет прямые, краткие ответы на запросы пользователей вместе со ссылками на цитирования/источники.
Динамический выбор LLM-модели: Поскольку Perplexity интегрирована с набором различных LLM, она выбирает наиболее подходящую модель для конкретного запроса на основе сложности, предметной области или требуемой глубины. Например, она может использовать модель Claude для чувствительных к безопасности разговоров или GPT-4 для неоднозначных, сложных запросов.
Freemium-модель: У платформы есть бесплатная версия, которую могут использовать студенты или исследователи, и платная версия для широкомасштабного использования бизнесом.
Она также имеет интеграцию с вебом в реальном времени и может предоставлять самые последние обновленные ответы.
Текущие проблемы :
Ответы могут быть относительно задержаны во время высокой нагрузки, поскольку она запрашивает несколько моделей на бэкенде и агрегирует итоговый ответ.
Возможности персонализированного поиска ограничены для пользователей бесплатного уровня.
Существуют опасения по поводу конфиденциальности данных, поскольку она использует сторонние LLM и API, которые могут хранить пользовательские данные.
5. Arc Search
Arc Search — это мобильный браузер на базе ИИ, который генерирует быстрые ответы, уделяя приоритетное внимание конфиденциальности данных пользователя. Он доступен как на устройствах IoS, так и Android, предлагая пользователям гибкость. Его могут использовать консультанты, маркетинговые команды и исследователи для быстрого изучения рыночных трендов, паттернов в социальных сетях и т. д.
Ключевые возможности:
Функция “Browse for Me”: Она имеет функциональность browse for me, которая принимает пользовательские запросы, ищет релевантную информацию и создает кастомизированную веб-страницу. Пользователь может просто прочитать специально подготовленную для него веб-страницу, а не переходить по множеству ссылок или сайтов.
Конфиденциальность данных: Arc Search уделяет особое внимание конфиденциальности пользовательских данных и имеет очень ограниченное количество трекеров данных по сравнению с такими поисковыми системами, как Google или Bing.
Ориентированный на пользователя интерфейс: Arc Search разработан с простым удобным интерфейсом, который позволяет пользователям переключаться в ‘Reader Mode’ для комфортного чтения без лишних элементов. Он также поддерживает настраиваемые виджеты для пользователей.
Блокировка рекламы: В нем есть встроенная функция для блокировки рекламы и всплывающих окон, что позволяет пользователю сосредоточиться без отвлекающих факторов.
Текущие проблемы :
Хотя Arch search оптимизирован для скорости и простоты, ответы могут содержать недостаточно информации при работе со сложными запросами.
Он не может работать офлайн, поскольку зависит от подключения к интернету для поиска данных в реальном времени
В нем отсутствуют функции для масштабного использования на предприятиях, и он ограничен определенной нишей.
Создание собственного AI-поиска с RAG
RAG (Retrieval-Augmented Generation) — это техника, при которой модели LLM объединяются с методами извлечения информации для генерации контекстно-релевантных ответов на пользовательские запросы.
Архитектура на основе RAG имеет два основных компонента:
Компонент извлечения: Эта часть отвечает за извлечение релевантной информации из базы данных для пользовательского запроса. Чтобы создать его, первым шагом будет собрать ваш набор данных и преобразовать его в векторные эмбеддинги с помощью API/моделей эмбеддингов. Эти векторные точки данных можно хранить в векторной базе данных, такой как Milvus, которая поддерживает индексирование и высокую скорость извлечения. Затем пользовательский запрос также преобразуется в вектор, и мы можем использовать поиск по сходству, чтобы найти ближайшие векторные точки.
Генеративный компонент: Данные, извлеченные компонентом извлечения, можно передать в большую языковую модель, такую как GPT или Mistral. LLM можно дать промпт для генерации простого, обобщенного ответа на основе извлеченных данных.
Систему RAG необходимо постоянно оценивать с помощью таких метрик, как релевантность поиска, время ответа и т. д. Если вас интересует создание собственного RAG, вы можете ознакомиться с нашим блогом.
Краткое резюме
AI-поисковые системы изменили то, как мы ищем информацию, совершаем покупки и проводим исследования. Все 5 AI-поисковых систем, рассмотренных в блоге выше, могут генерировать быстрые, персонализированные ответы на запросы и экономить пользователям много времени и усилий. Предприятия или частные пользователи могут выбирать свой AI-поиск на основе сложности запросов, потребности в конфиденциальности и других факторов.
Open AI лучше всего подходит для неоднозначных или сложных запросов либо для масштабного использования на предприятиях.
Google AI — основной выбор для поиска в реальном времени и мультимодальных запросов (для поиска по изображениям и видео)
Bing search может предоставлять лучшие локализованные результаты поиска, сочетая AI и традиционный поиск.
Perplexity — лучшее решение для исследовательских целей, где прозрачность имеет решающее значение.
Arc Search отлично подходит для индивидуальных создателей контента или студентов, которые предпочитают скорость и конфиденциальность.
Вы также можете разработать собственную AI-поисковую систему на основе RAG для доменно-специфичных запросов, дообучив LLM на вашем наборе данных.
Сравнительная таблица:
| Категория | OpenAI Search | Google AI Search | Bing Search | Perplexity AI | Arc Search |
| Преимущества | Контекстуальные, глубокие инсайты | Широкий охват в реальном времени | Комбинация ИИ + традиционного поиска | Прозрачность, источники | Конфиденциальность, фокус на дизайне |
| Функции | Сводки, API | Реальное время, мультимедиа | Диалоговый ИИ | Цитаты, легковесность | Визуальный, конфиденциальность прежде всего |
| Ограничения | Ограниченные данные в реальном времени | Не хватает контекстуальной глубины | Меньший индекс | Нишевый, малого масштаба | Ограниченная индексация |
| Лучшие сценарии использования | Пользовательские ИИ-приложения, исследования | Общие задачи, реальное время | Экосистема MS, покупки | Проверка фактов | Творческое, приватное использование |
| Масштабируемость | Корпоративное использование | Глобальная инфраструктура | Корпоративное использование | Малый и средний масштаб | Ограниченная |
Читать далее
We spent 8 years making vector databases faster. Then we stopped.
Rarely queried embeddings still need to stay searchable. See how Vector Lakebase enables on-demand vector search without always-on compute costs.
Data Deduplication at Trillion Scale: How to Solve the Biggest Bottleneck of LLM Training
Explore how MinHash LSH and Milvus handle data deduplication at the trillion-scale level, solving key bottlenecks in LLM training for improved AI model performance.
Vector Databases vs. Object-Relational Databases
Use a vector database for AI-powered similarity search; use an object-relational database for complex data modeling with both relational integrity and object-oriented features.