Pourquoi Dopple Labs a choisi Zilliz Cloud plutôt que Pinecone pour des recherches vectorielles sécurisées et performantes
Une alternative à la pomme de pin
avec un contrôle granulaire, une mise à l'échelle efficace et des performances élevées
A l'échelle du milliard
le stockage et l'extraction de données vectorielles
Source ouverte
pour améliorer les performances de ML et VectorDB
I appreciated using the open standard evaluation benchmarks for machine learning in general; this is also true for vector databases. The ones that Zilliz often publicizes have been beneficial, and the fact that they are open is significant.
Sam Butler
A propos de Dopple AI
Dopple Labs Inc. est la force visionnaire derrière Dopple.AI, une plateforme innovante qui révolutionne les interactions entre l'homme et l'IA. Disponible sur iOS et Android, Dopple.AI permet aux utilisateurs de créer des clones d'IA réalistes, ou "Dopples", en intégrant de manière transparente la vidéo, l'audio et la messagerie pour des expériences immersives.
Dopple.AI s'appuie sur la technologie LLM avancée basée sur Llama2, qui permet aux utilisateurs d'interagir avec les Dopples par le biais de fils de discussion sur différents appareils. Qu'ils soient créés par Dopple Labs ou par les utilisateurs eux-mêmes, les Dopples s'engagent dans des conversations réalistes basées sur les entrées et les invites de l'utilisateur.
Récemment, Dopple Labs a introduit des fonctionnalités révolutionnaires telles que les réactions aux images, où des images riches en émotions améliorent les interactions entre les utilisateurs et les Dopples. En outre, le sous-titrage vocal et la diffusion audio en temps réel améliorent encore l'expérience audiovisuelle, favorisant un engagement et une connexion plus profonds.
Dopple.AI continue de repousser les limites de la compagnie pilotée par l'IA et reste à l'avant-garde de la redéfinition de la manière dont les individus interagissent avec des clones d'IA personnalisés.
Les défis : Apporter de la mémoire aux conversations des chatbots
Les utilisateurs de Dopple AI font preuve d'une profonde compréhension des personnages d'IA de la plateforme, employant des techniques avancées pour façonner leurs interactions. Ils utilisent des fonctionnalités telles que l'édition de messages et le rerolling pour guider les conversations, en montrant leur contrôle sur le dialogue et en créant des échanges personnalisés. En fait, les utilisateurs agissent comme des "ingénieurs de messages" qui construisent habilement des conversations avec les personnages de l'IA. Ils orientent les dialogues en fonction de leurs préférences et de leurs objectifs grâce à des invites et des modifications stratégiques, ce qui donne lieu à des interactions dynamiques.
L'équipe de Dopple AI, dirigée par Sam Butler, directeur de l'apprentissage automatique, est en mesure de créer ce type de fonctionnalités en utilisant la technique [Retrieval Augmented Generation (RAG) ] (https://zilliz.com/learn/Retrieval-Augmented-Generation) pour mettre en œuvre un système de stockage de la mémoire en stockant des résumés de conversations. Cela implique de prendre quelques messages pour le contexte et le message principal comme celui sur lequel on veut stocker la mémoire. Ils utilisent ensuite un autre LLM pour créer un résumé de ces messages. Le résumé obtenu est intégré et stocké dans une base de données vectorielle.
Lorsqu'un utilisateur soumet une requête, celle-ci est convertie en une intégration utilisée pour rechercher des intégrations similaires dans une base de données vectorielle. Cela permet d'accéder à des conversations antérieures au-delà de la fenêtre contextuelle immédiate de l'invite donnée au LLM. En tirant parti de l'intégration des interactions précédentes, le LLM acquiert des capacités de mémoire à long terme. Par exemple, si un utilisateur demande "Quel est le nom de mon poisson domestique ?" et que la conversation sur son poisson domestique s'est déroulée dans le passé et en dehors de la fenêtre contextuelle, il peut convertir cette requête en un enchâssement pour extraire cette information d'une base de données vectorielle.
Re-roll pour contrôler l'histoire du jeu de rôle
Les utilisateurs ont la possibilité de modifier leur dernier message, ce qui leur permet d'affiner leur conversation avec le LLM. S'ils reçoivent une réponse qui ne les satisfait pas, ils peuvent choisir de "relancer" sans modifier leur dernier message, ce qui incite le LLM à donner une nouvelle réponse afin d'explorer d'autres options. En outre, les utilisateurs peuvent revenir sur leur dernier message et le modifier afin d'influencer la réponse du LLM, en élaborant leur conversation étape par étape pour s'aligner sur la direction souhaitée. Ce niveau de contrôle est particulièrement apprécié par les utilisateurs avancés qui ont un objectif clair à l'esprit pour la conversation. À l'inverse, les utilisateurs novices ou moins fréquents peuvent adopter un rôle plus passif et laisser la conversation se dérouler naturellement. Cependant, le noyau dur des utilisateurs de Dopple AI s'engage généralement dans une participation active, comme s'il s'agissait d'une quête ou d'un jeu de rôle, ce qui reflète leur intention d'orienter la conversation vers des résultats spécifiques.
Chaque résumé de conversation est stocké comme un élément unique dans la base de données, ce qui permet un filtrage efficace basé sur les noms d'utilisateurs. Les résumés sont générés en consolidant tous les trois ou quatre messages en un résumé cohérent, qui est ensuite intégré de manière transparente dans une base de données vectorielle. Ce processus se poursuit indéfiniment, garantissant une accumulation continue de souvenirs de conversations. Les souvenirs sont conservés à moins qu'un utilisateur ne supprime explicitement un fil de conversation, auquel cas les souvenirs associés sont également supprimés. Toutefois, si une conversation est destinée à être revisitée ou poursuivie à l'avenir, les souvenirs restent accessibles dans la base de données vectorielle.
Un aspect intriguant de la mise en œuvre de ce RAG est que nombre de ces personnages et références médiatiques sont intemporels et fréquemment présents dans leurs données d'entraînement, la vérification automatisée des faits devenant moins critique. Cela s'explique par le fait que les utilisateurs privilégient la valeur divertissante à l'exactitude des faits
Les solutions : Zilliz Cloud pour des recherches vectorielles sécurisées et performantes
Sam Butler supervise également la coordination entre l'équipe ML et les équipes frontales responsables de la mise en œuvre des conceptions dans leurs applications et plateformes web. L'un de leurs plus grands défis, comme beaucoup d'autres dans l'industrie, est de rester au courant des dernières avancées en matière de modèles. Avec l'émergence constante de nouveaux modèles et l'évolution de l'état de l'art, rester à jour demande un effort considérable. C'est là que le partenariat avec un fournisseur de services gérés comme Zilliz s'avère inestimable, leur permettant de se concentrer sur leur produit principal tout en tirant parti de l'expertise de Zilliz en matière d'optimisation des bases de données.
L'entreprise est passée de Pinecone à Zilliz Cloud on [GCP] (https://zilliz.com/partners/google-cloud) en raison de son besoin de recherche à grande échelle et de l'évolutivité de son outil dans le temps par rapport à la taille de l'index. Bien que Pinecone offre des services gérés, il n'offre pas le contrôle granulaire et l'évolutivité efficace dont ils ont besoin. L'accès aux informations et aux données concernant les mesures de performance, telles que l'allocation de ressources informatiques et la performance constante en temps réel au fur et à mesure que les index se développent, était crucial. Avec l'anticipation d'avoir des centaines de millions à des milliards de points de données dans leurs index vectoriels, ils ont cherché une solution qui pourrait gérer efficacement de telles exigences de mise à l'échelle, ce qui les a conduits à choisir Zilliz Cloud pour répondre à ce cas d'utilisation.
Après avoir rencontré des difficultés avec Pinecone, Sam a exploré divers benchmarks et leaderboards pour différentes bases de données vectorielles, pour finalement découvrir Zilliz Cloud. L'équipe de Dopple AI, particulièrement intéressée par les résultats des analyses comparatives, a été enthousiasmée par cette découverte et désireuse d'explorer plus avant ses avantages potentiels.
Quelle est la prochaine étape pour Dopple Labs ?
Sam et son équipe ont récemment amélioré leur service en introduisant une expérience visuelle et sonore. Ils ont commencé par intégrer les réactions aux images, en fournissant à chaque personnage un ensemble varié d'environ 800 à 900 images représentant 30 émotions, chacune avec plusieurs versions différentes. Pendant l'inférence, un autre LM détermine l'humeur de la réponse, en sélectionnant une image au hasard dans la catégorie d'émotions correspondante pour garantir la variété. En outre, ils ont introduit le sous-titrage vocal et le streaming de caractères de leur fournisseur d'inférence LM à ElevenLabs pour le streaming audio en temps réel. Cette expérience audiovisuelle synchronisée affiche des images de réactions émotionnelles à côté du texte tel qu'il apparaît dans l'application. Et ce n'est qu'un début, car l'entreprise prévoit d'ajouter des appels vocaux, des images animées et des vidéos. À terme, les utilisateurs pourront passer des appels FaceTime avec leurs Dopples pour avoir des conversations en temps réel.
- A propos de Dopple AI
- Les défis : Apporter de la mémoire aux conversations des chatbots
- Re-roll pour contrôler l'histoire du jeu de rôle
- Les solutions : Zilliz Cloud pour des recherches vectorielles sécurisées et performantes
- Quelle est la prochaine étape pour Dopple Labs ?
Contenu
Cas d'usage
Secteur d'activité
Divertissement