Comment VerbaFlo révolutionne les interactions avec les clients dans l’immobilier grâce aux agents d’IA conversationnelle et à Zilliz Cloud
Jusqu’à 50 %
Réduction des coûts vs. infrastructure MongoDB
Moins de 10 millisecondes
Percée en matière de performance
60+ QPS
charges de production avec une marge de croissance
Données multilocataires supérieures
isolation et partitionnement
It has saved us cost by at least 25 to 30% on what we were earlier incurring on the vector database, with potential savings reaching up to 40-50% during peak traffic periods.
Rachit Jindal
À propos de VerbaFlo
VerbaFlo compte parmi les plateformes d’IA conversationnelle les plus adaptables au monde, révolutionnant la manière dont les professionnels de l’immobilier gèrent leurs opérations et interagissent avec leurs clients. Leur plateforme basée sur l’IA unifie les communications vocales, par chat, par texto et par e-mail au sein d’un moteur intelligent unique qui offre des conversations quasi humaines 24 h/24 et 7 j/7. Grâce à des fonctionnalités avancées comme la mise en relation client propulsée par l’IA, les moteurs de tarification dynamique et la gestion immobilière automatisée, VerbaFlo favorise la cohérence, la visibilité et des performances mesurables à chaque interaction client. Avec des projets d’expansion dans l’industrie automobile, VerbaFlo est positionnée comme le leader du secteur des solutions de communication propulsées par l’IA.
Le défi : passer à l’échelle au-delà des limites de l’infrastructure
À mesure que la plateforme d’IA de VerbaFlo gagnait en popularité auprès des clients du secteur immobilier, son infrastructure initiale MongoDB Atlas a commencé à montrer des limites critiques qui menaçaient à la fois l’expérience client et la croissance de l’entreprise. L’entreprise fonctionnait avec des charges de requêtes en production dépassant 50 à 60 QPS, poussant son système au-delà de ce que MongoDB pouvait gérer de manière fiable.
Les latences de requête étaient trop lentes pour l’IA conversationnelle en temps réel, où les utilisateurs s’attendent à des réponses instantanées, en particulier lors des appels vocaux, où les retards deviennent immédiatement perceptibles. L’équipe avait expérimenté diverses bases de données vectorielles, notamment Qdrant et Pinecone, mais aucune ne pouvait passer à l’échelle pour répondre à leurs exigences élevées en matière de performance.
« Nous étions vraiment bloqués à un stade où notre environnement de production avait un QPS supérieur à 50 ou 60, et la plupart des bases de données existantes n’étaient pas capables de passer à l’échelle à ce niveau. Même MongoDB Atlas M30 ou M40 n’était pas capable d’atteindre ce niveau », explique Rachit Jindal, ingénieur IA senior chez VerbaFlo.
Les défis allaient au-delà de la performance. VerbaFlo faisait face à quatre préoccupations principales : l’inefficacité des coûts, les clusters M40 de MongoDB étant trop coûteux pour leurs besoins, une prise en charge insuffisante de la forte concurrence, des temps de requête médiocres et des capacités de partitionnement limitées. L’équipe avait besoin d’une isolation sophistiquée des données pour son architecture multi-locataire ; toutefois, MongoDB n’était pas en mesure de fournir une isolation appropriée des espaces de noms pour différentes collections et différents environnements.
Ces limites d’infrastructure avaient un impact direct sur la capacité de VerbaFlo à fournir une automatisation fluide et en temps réel de la gestion immobilière. Avec des projections de croissance ambitieuses et des plans visant à multiplier le nombre d’entités par 10 à 20 en l’espace de quelques trimestres, l’entreprise avait besoin d’une solution capable de grandir avec ses ambitions.
Le parcours vers Zilliz Cloud
Reconnaissant que leur architecture de base de données était devenue une contrainte commerciale critique, l’équipe d’ingénierie de VerbaFlo a mené une évaluation complète des alternatives de bases de données vectorielles, notamment Zilliz Cloud (un service géré de l’open source Milvus), Pinecone, Qdrant, PostgreSQL avec extensions vectorielles et Milvus auto-hébergé sur AWS.
Zilliz Cloud s’est imposé comme le grand gagnant pour plusieurs raisons convaincantes. Rachit avait déjà une expérience de l’hébergement de Milvus sur site, ce qui lui donnait confiance dans ses capacités de mise à l’échelle horizontale et verticale, ainsi que dans son architecture interne. « D’après l’expérience que j’ai déjà avec Milvus, son architecture interne autour de la scalabilité, de la mise à l’échelle horizontale et verticale, c’est clairement le choix que notre équipe doit envisager comme l’une des bases de données potentielles », note-t-il.
L’évaluation a révélé que Zilliz Cloud offrait des capacités sophistiquées de partitionnement et d’isolation qui correspondaient parfaitement aux exigences multi-locataires de VerbaFlo. Contrairement à MongoDB, où ils disposaient d’une « capacité très limitée pour créer un index dans une collection particulière » et ne pouvaient pas « définir un espace de noms approprié dans une base de données appropriée lors de la création d’une collection », Zilliz Cloud fournissait une isolation adéquate des bases de données et des espaces de noms, assurant une séparation nette entre les environnements de production, les systèmes de staging et leur playground d’IA destiné aux clients.
Un autre facteur décisif a été les algorithmes de re-ranking intégrés de Zilliz Cloud. Au lieu de développer des algorithmes personnalisés, VerbaFlo pouvait exploiter immédiatement des systèmes de re-ranking pondéré et de RRF (Reciprocal Rank Fusion). « Avec Zilliz Cloud, certains algorithmes internes étaient tout à fait adaptés au cas d’usage dont nous avons besoin, comme les systèmes de re-ranking pondéré et de re-ranking RRF. Cela nous a aidés à utiliser directement leur SDK ainsi qu’à les calculer à la volée afin de réduire notre temps de requête », explique Rachit.
La prise en charge native par Zilliz Cloud de la recherche hybride — combinant des requêtes sémantiques et basées sur des mots-clés — s’aligne parfaitement avec le pipeline d’expansion des requêtes de VerbaFlo. Plus important encore, Zilliz Cloud pouvait offrir la latence inférieure à 10 millisecondes qu’exigeaient leurs applications en temps réel, tout en proposant de meilleurs services managés par rapport aux autres alternatives.
Comment Zilliz Cloud alimente des agents d’IA conversationnelle en temps réel à grande échelle
L’ancienne architecture de VerbaFlo basée sur MongoDB peinait à gérer des charges de production dépassant 50 à 60 QPS, entraînant des goulots d’étranglement qui empêchaient les réponses en temps réel. Avec Zilliz Cloud comme fondation, ils ont construit une plateforme sophistiquée d’IA conversationnelle qui gère actuellement plus de 40 000 à 50 000 entités avec des performances fluides.
La nouvelle architecture d’agents avec Zilliz Cloud
Au cœur du système de VerbaFlo se trouve un mécanisme de routage intelligent qui classifie les intentions des utilisateurs et dirige les requêtes vers des nœuds de traitement spécialisés. Zilliz Cloud alimente le nœud RAG (Retrieval-Augmented Generation) critique, qui récupère le contexte pertinent à partir des données immobilières, des historiques clients et des informations de marché afin de générer des réponses précises et personnalisées.
L’une des capacités les plus précieuses de Zilliz Cloud pour VerbaFlo est son système avancé de partitionnement, qui permet deux types critiques d’isolation des données :
Séparation des environnements : Isolation nette entre leur environnement AI playground/labs et les collections de production, permettant aux clients de tester et d’expérimenter sans affecter les opérations en direct
Optimisation des performances : Données segmentées en partitions plus petites selon des scénarios spécifiques, permettant des requêtes ciblées sur des sections limitées plutôt que sur des collections entières
Cette approche de partitionnement répond directement aux limitations d’espace de noms auxquelles ils étaient confrontés avec MongoDB, où ils disposaient d’une « capacité très limitée pour créer un index dans une collection particulière » et ne pouvaient pas « définir un espace de noms approprié dans une base de données appropriée lors de la création d’une collection ».
Alimenter le pipeline de recherche hybride avec Zilliz Cloud
Le système de VerbaFlo ne repose pas sur de simples recherches sémantiques. Au contraire, leur pipeline d’expansion des requêtes crée à la fois des requêtes sémantiques et des requêtes par mots-clés pour chaque demande utilisateur. Les capacités natives de recherche hybride de Zilliz Cloud et ses algorithmes de re-ranking intégrés (re-ranking pondéré et RRF) éliminent le besoin de développement personnalisé tout en fournissant des résultats supérieurs.
« Avec Zilliz Cloud, certains algorithmes internes étaient tout à fait adaptés au cas d’usage dont nous avons besoin, comme les systèmes de re-ranking pondéré et de re-ranking RRF. Cela nous a aidés à utiliser directement leur SDK ainsi qu’à les calculer à la volée afin de réduire notre temps de requête », note Rachit.
Migration transparente : des contraintes de MongoDB aux performances de Zilliz Cloud
La migration de MongoDB Atlas vers Zilliz Cloud a démontré comment une transition de base de données bien planifiée peut résoudre des goulets d’étranglement critiques en matière de performance sans perturber les opérations métier.
L’équipe d’ingénierie de VerbaFlo a abordé la migration de manière systématique, en s’appuyant sur la documentation complète et les ressources SDK de Zilliz Cloud. La migration a consisté à transférer leurs vector embeddings et métadonnées existants tout en mettant en œuvre de nouvelles stratégies de partitionnement que MongoDB ne pouvait pas prendre en charge.
« La documentation sur Zilliz Cloud ainsi que sur Milvus était très détaillée et complète. Avec ce type de documentation et toute la documentation des SDK, il a été assez facile de migrer », se souvient Rachit.
Résultats et avantages
L’impact de la migration vers Zilliz Cloud a été immédiat et substantiel sur plusieurs dimensions.
Jusqu’à 50 % de réduction des coûts : VerbaFlo a réalisé des économies immédiates de 25 à 30 % par rapport à son infrastructure MongoDB Atlas. Pendant les périodes de pic de trafic, les économies potentielles pourraient atteindre 40 à 50 % grâce aux capacités d’auto-scaling efficaces de Zilliz Cloud et à ses configurations de cluster idéales pour les environnements prêts pour la production.
Percée en matière de performance sous les 10 millisecondes : Les latences de requête sont passées de 15 à 20 millisecondes à systématiquement moins de 10 millisecondes — une amélioration spectaculaire que les clients ont immédiatement remarquée. Cette performance inférieure à 10 millisecondes permet des expériences d’IA véritablement conversationnelles sur les appels vocaux, les widgets de chat et les plateformes de messagerie.
Scalabilité améliorée : Avec la capacité de gérer leur charge actuelle de 50 à 60 QPS avec une marge importante pour la croissance, VerbaFlo dispose désormais de la base d’infrastructure nécessaire pour soutenir ses plans de mise à l’échelle ambitieux sans dégradation des performances.
Isolation et partitionnement des données supérieurs : Les capacités avancées de partitionnement de Zilliz Cloud ont résolu les exigences multi-locataires complexes de VerbaFlo que MongoDB ne pouvait pas gérer, améliorant considérablement à la fois la sécurité et les performances de leur architecture multi-locataire.
Conformité et sécurité : La conformité RGPD et les certifications de sécurité de Zilliz Cloud permettent à VerbaFlo de servir en toute confiance des clients au Royaume-Uni et dans les régions de l’UE, soutenant ainsi ses plans d’expansion internationale.
Fiabilité du système améliorée : Avec une disponibilité de plus de 99,5 %, Zilliz Cloud soutient les engagements de service 24/7 de VerbaFlo, essentiels pour les applications immobilières où les demandes des clients ne suivent pas les horaires de bureau.
Intégration transparente de l’écosystème : La compatibilité native de Zilliz Cloud avec les fournisseurs d’infrastructure cloud permet à VerbaFlo de tirer parti des services AWS, notamment ECS, EKS et les compartiments S3 pour l’hébergement et les déploiements, tout en soutenant sa stratégie multi-cloud qui s’étend à Google Cloud et à divers fournisseurs de services d’IA.
Plans futurs : étendre l’innovation en IA à tous les secteurs
Une fois ses défis d’infrastructure résolus, VerbaFlo poursuit des plans d’expansion ambitieux sur plusieurs dimensions. L’entreprise prévoit une croissance significative du nombre d’entités, s’attendant à une mise à l’échelle de 10 à 20 fois au cours des prochains trimestres à mesure que le trafic augmente et qu’elle intègre davantage de clients à sa fonctionnalité de bac à sable IA.
« L’équipe est dans une phase constante de développement, d’optimisation de nos flux existants et de mise en œuvre de nouveaux flux en interne dans le système », explique Rachit. « Nous souhaitons clairement tirer parti de Zilliz Cloud pour répondre à certains des cas d’utilisation que nous prévoyons à l’avenir. »
Plus important encore, la base solide fournie par Zilliz Cloud a permis d’explorer de tout nouveaux secteurs verticaux. VerbaFlo développe activement des architectures d’agents IA pour les secteurs automobile et pharmaceutique, en s’appuyant sur les mêmes capacités d’IA conversationnelle qui ont fait leurs preuves dans le secteur immobilier.
Les capacités techniques qui rendent cette expansion possible incluent les normes de conformité internationales de Zilliz Cloud et ses performances fiables à grande échelle, donnant à VerbaFlo la confiance nécessaire pour penser au-delà de son marché actuel et construire une croissance mondiale dans plusieurs secteurs.
Conclusion
Le partenariat de VerbaFlo avec Zilliz Cloud démontre comment le bon choix d’infrastructure peut transformer des contraintes techniques en avantages concurrentiels. En réalisant 25 à 30 % d’économies, des performances de requêtes inférieures à 10 millisecondes et une évolutivité robuste avec Zilliz Cloud, VerbaFlo s’est positionnée pour une croissance ambitieuse dans de multiples secteurs.
Alors que VerbaFlo continue d’innover dans f et de s’étendre à de nouveaux marchés, Zilliz Cloud fournit la fondation évolutive dont elle a besoin pour transformer la manière dont les entreprises interagissent avec leurs clients.
« La latence inférieure à 10 millisecondes pour les requêtes constitue une véritable référence dans le secteur des bases de données vectorielles », conclut Rachit. « Associée aux économies et à la fiabilité, Zilliz Cloud est devenu un catalyseur stratégique pour notre vision plus large de transformation de l’IA conversationnelle dans tous les secteurs. »
- À propos de VerbaFlo
- Le défi : passer à l’échelle au-delà des limites de l’infrastructure
- Le parcours vers Zilliz Cloud
- Comment Zilliz Cloud alimente des agents d’IA conversationnelle en temps réel à grande échelle
- Migration transparente : des contraintes de MongoDB aux performances de Zilliz Cloud
- Résultats et avantages
- Plans futurs : étendre l’innovation en IA à tous les secteurs
- Conclusion
Contenu
Cas d'usage
Secteur d'activité
Immobilier
The sub-10 millisecond latency for queries is quite the benchmark in the industry for vector databases. Combined with the cost savings and reliability, Zilliz Cloud has become a strategic enabler for our broader vision of transforming conversational AI across industries.
Rachit Jindal