Comment NAVER réinvente la recherche et les recommandations à grande échelle avec Milvus
<20 ms de latence à grande échelle
Prend en charge 5K QPS sur plus de 50M d’entités avec des temps de réponse inférieurs à 20 ms.
Recherche multimodale
Alimente la recherche et les recommandations dans le texte, les images, la vidéo et l’audio.
Architecture de recherche hybride
Combine la précision des mots-clés avec la recherche vectorielle sémantique pour les requêtes conversationnelles.
Fiabilité de l’entreprise
L’évolutivité distribuée et la haute disponibilité garantissent un service toujours actif.
Among Milvus's rich vector search capabilities, features such as support for multiple ANN index types, multi-vector support, and hybrid search have proven especially valuable in real-world service environments. As Milvus continues to evolve with new capabilities, NAVER expects even broader applications across its services.
NAVER Engineering Team
À propos de NAVER
NAVER est la principale entreprise de plateformes Internet de Corée du Sud, avec plus de la moitié du marché national de la recherche et des dizaines de millions d’utilisateurs quotidiens. Son écosystème couvre le moteur de recherche le plus utilisé en Corée, les actualités, les blogs, les communautés en ligne et le très populaire NAVER Webtoon à l’échelle mondiale. Au-delà du contenu, NAVER stimule le e-commerce avec NAVER Shopping, alimente les paiements numériques via Npay et fournit des services d’information sur la santé.
Au cœur du succès de NAVER se trouvent des technologies avancées de recherche et de recommandation qui permettent une découverte et un engagement fluides sur l’ensemble de ses plateformes. Alors que les besoins des utilisateurs sont passés de la recherche par mots-clés aux requêtes en langage naturel et au contenu multimodal, NAVER s’est tourné vers la recherche vectorielle pour alimenter cette nouvelle ère de la découverte. Milvus, une base de données vectorielle open source haute performance, est largement déployée dans les principaux services de NAVER afin de fournir une recherche multimodale, des recommandations et une synthèse évolutives.
Les difficultés croissantes de la recherche par mots-clés
Pendant des années, l’infrastructure de recherche de NAVER s’est appuyée sur la correspondance de texte basée sur des index inversés. Bien qu’efficaces pour la correspondance exacte de mots-clés, ces systèmes ont eu des difficultés lorsque les utilisateurs ont commencé à s’attendre à des interactions plus conversationnelles, en langage naturel. Des requêtes comme « Que dois-je faire si mon enfant a de la fièvre et refuse de manger ? » ou « chaussures de running confortables à moins de 100 $ » nécessitent une compréhension sémantique que la recherche par mots-clés ne peut pas fournir.
Le comportement des utilisateurs évoluait également vers du contenu multimodal, comme les images, l’audio et les vidéos. Les systèmes de recherche existants de NAVER avaient du mal à gérer ces entrées ou à prendre en charge des fonctionnalités avancées telles que les recommandations personnalisées, la synthèse et la recherche contextuelle.
Pour relever ces défis, NAVER avait besoin d’une nouvelle solution de recherche vectorielle capable de traiter des données multimodales et non structurées à très grande échelle. En tant que leader du marché de la recherche en Corée du Sud avec plus de 50 % de parts de marché, NAVER avait besoin d’une plateforme à la hauteur de son échelle et de sa responsabilité. Au-delà de l’échelle, les différents services de NAVER avaient des exigences variables en matière de taille des entités, d’échelles de collections, de QPS et de latence. Toute nouvelle solution devait fonctionner largement sur l’ensemble du portefeuille, avec une gestion unifiée, une supervision et des API flexibles pour son adoption par plusieurs équipes. Plus précisément, NAVER exigeait :
Latence ultra-faible : par exemple, un service doit rechercher parmi 50 millions d’entités à 5K QPS, avec des temps de réponse inférieurs à 20 ms.
Évolutivité distribuée : capacité à évoluer de manière fluide lors des pics de trafic, essentielle pour une plateforme qui alimente plus de la moitié des recherches en Corée.
Fiabilité opérationnelle : service toujours disponible, avec une haute disponibilité et une forte tolérance aux pannes.
Large applicabilité : flexibilité pour couvrir divers cas d’utilisation avec différentes tailles d’entités, échelles de collections, exigences de QPS et de latence.
Facilité d’utilisation : adoption facile par plusieurs équipes de services, avec une gestion unifiée, une supervision et des API flexibles.
La solution : transformer l’architecture de recherche avec la base de données vectorielle Milvus
Les équipes d’ingénierie de NAVER ont entrepris une évaluation approfondie des solutions de bases de données vectorielles. Le processus d’évaluation a pris en compte plusieurs facteurs, notamment les performances sous des charges de travail à l’échelle de l’entreprise, les capacités de fiabilité et de tolérance aux pannes, la facilité d’intégration dans diverses architectures de services, le soutien de la communauté et la viabilité à long terme.
Milvus s’est imposé comme le choix évident grâce à sa stabilité éprouvée dans des environnements de production à forte charge et à ses riches capacités de recherche vectorielle. La prise en charge par la base de données de plusieurs types d’index ANN, du support multi-vecteur et de la fonctionnalité de recherche hybride correspondait parfaitement aux exigences de NAVER. De plus, Milvus offrait les avantages opérationnels dont NAVER avait besoin, notamment une gestion et une supervision unifiées à travers les déploiements, des API flexibles prenant en charge divers modèles d’intégration, ainsi qu’une communauté solide soutenant l’innovation continue.
Après avoir adopté Milvus, NAVER a déployé cette base de données vectorielle dans plusieurs services, créant une infrastructure unifiée de recherche vectorielle qui a fondamentalement changé la manière dont ses systèmes comprennent les requêtes conversationnelles des utilisateurs et y répondent. Plutôt que de remplacer entièrement leurs systèmes existants basés sur les mots-clés, ils ont créé une approche hybride qui combine la précision de la recherche traditionnelle avec la compréhension sémantique de la recherche vectorielle.
Cette architecture a créé une base capable de prendre en charge non seulement une recherche améliorée, mais aussi des catégories entièrement nouvelles de fonctionnalités. Les capacités de réécriture des requêtes transforment automatiquement les saisies des utilisateurs en recherches sémantiquement similaires et de meilleure qualité, qui renvoient des résultats plus pertinents. Le traitement du langage naturel permet aux utilisateurs d’effectuer des recherches en langage conversationnel au lieu de devoir deviner les bons mots-clés. Plus important encore, le système prend désormais en compte l’intention et le contexte de l’utilisateur, et pas seulement les correspondances textuelles littérales.
Impact commercial : de la recherche à l’intelligence
Avec Milvus, NAVER est allé au-delà de la simple amélioration de la gestion des requêtes en langage naturel pour permettre des fonctionnalités plus riches et plus intelligentes dans plusieurs services. Un exemple est l’AI Briefing de NAVER, qui fournit une synthèse intelligente en combinant les avis des utilisateurs et le contenu des blogs. Cela donne aux utilisateurs des aperçus complets des sujets sans les obliger à lire plusieurs sources.
Dans NAVER Healthcare, l’impact s’est avéré particulièrement spectaculaire. Les recherches de symptômes en langage naturel renvoient désormais des résultats médicalement pertinents basés sur la compréhension sémantique plutôt que sur des correspondances exactes de mots-clés. Cela améliore considérablement l’expérience utilisateur pour les requêtes liées à la santé.
NAVER Shopping a connu une transformation complète de la découverte de produits. Avec la recherche vectorielle, la plateforme recommande désormais des produits similaires sur la base de la similarité sémantique et s’appuie sur un moteur de personnalisation qui intègre le contenu du panier, les articles de la liste de souhaits, l’historique d’achat, les schémas de recherche et même les données de conversation. Cela permet aux utilisateurs de décrire des produits en langage naturel et de trouver malgré tout exactement ce qu’ils recherchent, même sans connaître de noms ou de catégories spécifiques. Pour NAVER, ces capacités se traduisent par des recommandations plus pertinentes, une découverte de produits plus fluide et des bénéfices commerciaux mesurables, notamment des taux de conversion plus élevés, un engagement accru et un temps passé plus long sur la plateforme.
La plateforme d’actualités a étendu son système de gestion de contenu existant avec des capacités sophistiquées de recherche vectorielle. Cette amélioration permet la détection et la suppression automatiques des articles en double grâce à la similarité au niveau des phrases, réduisant ainsi la redondance sur l’ensemble de la plateforme. Elle alimente également la correspondance sémantique pour les recommandations d’articles connexes, aidant les utilisateurs à rester engagés avec des histoires thématiquement pertinentes même lorsque les mots-clés exacts ne correspondent pas.
Conclusion
En adoptant Milvus, NAVER a dépassé les limites de la recherche basée sur les mots-clés pour offrir des expériences véritablement sémantiques et multimodales. Cette transition a non seulement amélioré la satisfaction des utilisateurs, mais a également posé les bases d’opportunités de services entièrement nouvelles.
Davantage d’équipes de NAVER s’appuient désormais sur cette base, appliquant la recherche vectorielle pour alimenter les recommandations, la synthèse, la personnalisation et d’autres fonctionnalités avancées. À mesure que Milvus continue d’évoluer, ce leader de la recherche s’attend à ce que ses cas d’utilisation s’étendent encore davantage, renforçant sa position de leader des systèmes de recherche et de recommandation à grande échelle.
À l’avenir, la vision de NAVER est de créer un écosystème de découverte fluide sur toutes ses plateformes, où la recherche, les recommandations et le contenu semblent personnalisés et intuitifs. Avec Milvus comme base évolutive, NAVER peut innover plus rapidement, offrir davantage de valeur aux utilisateurs et continuer à façonner l’avenir des services d’information intelligents.