Por qué Dopple Labs eligió Zilliz Cloud en lugar de Pinecone para realizar búsquedas vectoriales seguras y de alto rendimiento
Una alternativa a la piña
con control granular, escalado eficaz y alto rendimiento.
Una escala de mil millones
almacenamiento y recuperación de datos vectoriales
Código abierto
para mejorar el rendimiento de ML y VectorDB
I appreciated using the open standard evaluation benchmarks for machine learning in general; this is also true for vector databases. The ones that Zilliz often publicizes have been beneficial, and the fact that they are open is significant.
Sam Butler
Acerca de Dopple AI
Dopple Labs Inc. es la fuerza visionaria detrás de Dopple.AI, una plataforma innovadora que revoluciona las interacciones entre humanos e IA. Disponible en iOS y Android, Dopple.AI permite a los usuarios crear clones de IA realistas, o "Dopples", integrando a la perfección vídeo, audio y mensajería para experiencias inmersivas.
En esencia, Dopple.AI aprovecha la avanzada tecnología LLM basada en Llama2, con la que los usuarios interactúan con los Dopples a través de hilos de chat en varios dispositivos. Tanto si han sido creados por Dopple Labs como por los propios usuarios, los Dopples entablan conversaciones realistas basadas en las entradas e indicaciones del usuario.
Recientemente, Dopple Labs ha introducido funciones innovadoras, como las reacciones de imagen, en las que imágenes ricas en emociones mejoran las interacciones de los usuarios con los Dopples. Además, los subtítulos de voz y la transmisión de audio en tiempo real elevan aún más la experiencia audiovisual, fomentando un compromiso y una conexión más profundos.
A medida que Dopple.AI sigue ampliando los límites de la compañía basada en la IA, se mantiene a la vanguardia de la redefinición de la forma en que las personas interactúan con clones de IA personalizados.
Los retos: Aportar memoria a las conversaciones con chatbot
Los usuarios de Dopple AI demuestran un profundo conocimiento de los personajes de IA de la plataforma, empleando técnicas avanzadas para dar forma a sus interacciones. Utilizan funciones como la edición de mensajes y la redirección para guiar las conversaciones, mostrando su control sobre el diálogo y creando intercambios personalizados. Básicamente, los usuarios actúan como "ingenieros de mensajes", construyendo hábilmente las conversaciones con los personajes de la IA. Dirigen los diálogos para que se ajusten a sus preferencias y objetivos mediante indicaciones y modificaciones estratégicas, lo que da lugar a interacciones dinámicas.
El equipo de Dopple AI, dirigido por Sam Butler, Director de Aprendizaje Automático, es capaz de construir este tipo de características utilizando la técnica Retrieval Augmented Generation (RAG) para implementar un sistema de almacenamiento de memoria almacenando resúmenes de conversaciones. Esto implica tomar unos cuantos mensajes como contexto y el mensaje principal como aquel sobre el que quieren almacenar la memoria. A continuación, utilizan otro LLM para crear un resumen de esos mensajes. El resumen resultante se incrusta y almacena en una base de datos vectorial.
Cuando un usuario envía una consulta, ésta se convierte en una incrustación que se utiliza para buscar incrustaciones similares en una base de datos vectorial. Esto permite acceder a conversaciones anteriores más allá de la ventana contextual inmediata de la consulta realizada al LLM. Al aprovechar las incrustaciones de interacciones anteriores, el LLM adquiere capacidades de memoria a largo plazo. Por ejemplo, si un usuario pregunta "¿Cómo se llama mi pez mascota?" y la conversación sobre su pez mascota tuvo lugar en el pasado y fuera de la ventana contextual, puede convertir esa consulta en una incrustación para recuperar esa información de una base de datos vectorial.
Re-roll para controlar la línea argumental del juego de rol
Los usuarios tienen la flexibilidad de editar su mensaje más reciente, lo que les permite refinar su conversación con el LLM. Si reciben una respuesta con la que no están satisfechos, pueden elegir "volver a lanzar" sin alterar su último mensaje, solicitando a la LLM una nueva respuesta para explorar diferentes opciones. Además, los usuarios pueden revisar y modificar su último mensaje para influir en la respuesta del LLM, elaborando su conversación paso a paso para alinearla con la dirección deseada. Este nivel de control es especialmente valorado por los usuarios avanzados que tienen un objetivo claro en mente para la conversación. Por el contrario, los usuarios principiantes o menos frecuentes pueden adoptar un papel más pasivo, dejando que la conversación se desarrolle de forma natural. Sin embargo, la base de usuarios de Dopple AI suele tener una participación activa, similar a la de embarcarse en una búsqueda o participar en un juego de rol, lo que refleja su intención de guiar la conversación hacia resultados específicos.
Cada resumen de conversación se almacena como un elemento único en la base de datos, lo que permite un filtrado eficaz basado en los nombres de usuario. Los resúmenes se generan consolidando cada tres o cuatro mensajes en un resumen coherente, que luego se integra perfectamente en una base de datos de vectores. Este proceso continúa indefinidamente, garantizando una acumulación continua de recuerdos de conversaciones. Las memorias se conservan a menos que un usuario borre explícitamente un hilo de conversación, en cuyo caso las memorias asociadas también se eliminan. Sin embargo, si se desea volver a una conversación o continuarla en el futuro, las memorias permanecen accesibles en la base de datos vectorial.
Un aspecto intrigante de esta aplicación del GAR es que muchos de estos personajes y referencias mediáticas son atemporales y están presentes con frecuencia en sus datos de entrenamiento, por lo que la comprobación automatizada de hechos resulta menos crítica. Esto se debe a que los usuarios dan prioridad al entretenimiento sobre la veracidad de los hechos.
Las soluciones: Zilliz Cloud para búsquedas vectoriales seguras y de alto rendimiento
Sam Butler también supervisa la coordinación entre el equipo de ML y los equipos frontend responsables de implementar los diseños en sus plataformas de aplicaciones y web. Uno de sus mayores retos, como el de muchos en el sector, es mantenerse al día de los últimos avances en modelos. Con la aparición constante de nuevos modelos y la evolución del estado de la técnica, mantenerse al día requiere un esfuerzo considerable. Aquí es donde la asociación con un proveedor de servicios gestionados como Zilliz resulta inestimable, ya que les permite centrarse en su producto principal al tiempo que aprovechan la experiencia de Zilliz en la optimización de bases de datos.
Pasaron de Pinecone a Zilliz Cloud on GCP debido a su necesidad de recuperación a gran escala y a la escalabilidad de su herramienta con el tiempo en relación con el tamaño del índice. Aunque Pinecone ofrecía servicios gestionados, carecía del control granular y el escalado realmente efectivo que necesitaban. El acceso a información y datos sobre métricas de rendimiento, como la asignación de recursos informáticos y el rendimiento constante en tiempo real a medida que se ampliaban los índices, era crucial. Con la previsión de tener entre cientos de millones y miles de millones de puntos de datos en sus índices vectoriales, buscaban una solución que pudiera gestionar eficazmente estos requisitos de escalado, lo que les llevó a elegir Zilliz Cloud para este caso de uso.
Después de encontrar dificultades con Pinecone, Sam exploró varios puntos de referencia y tablas de clasificación para diferentes bases de datos vectoriales, y finalmente descubrió Zilliz Cloud. El equipo de Dopple AI, especialmente interesado en los resultados de las pruebas comparativas, se mostró entusiasmado con el descubrimiento y deseoso de seguir explorando sus posibles ventajas.
¿Qué es lo próximo para Dopple Labs?
Sam y su equipo han mejorado recientemente su servicio introduciendo una experiencia visual-audio. Empezaron integrando reacciones de imagen, proporcionando a cada personaje un conjunto diverso de aproximadamente 800 a 900 imágenes que representan 30 emociones, cada una con varias versiones diferentes. Durante la inferencia, otro LM determina el estado de ánimo de la respuesta, seleccionando una imagen aleatoria de la categoría de emoción correspondiente para garantizar la variedad. Además, introdujeron subtítulos de voz y caracteres de transmisión desde su proveedor de inferencia LM a ElevenLabs para la transmisión de audio en tiempo real. Esta experiencia audiovisual sincronizada muestra imágenes de reacciones emocionales junto con el texto que aparece en la aplicación. Y esto es sólo el principio, ya que tienen previsto añadir llamadas de voz con deslizamiento, imágenes en movimiento y vídeo. Con el tiempo, los usuarios podrán hacer llamadas FaceTime con sus Dopples para mantener conversaciones en tiempo real.
- Acerca de Dopple AI
- Los retos: Aportar memoria a las conversaciones con chatbot
- Re-roll para controlar la línea argumental del juego de rol
- Las soluciones: Zilliz Cloud para búsquedas vectoriales seguras y de alto rendimiento
- ¿Qué es lo próximo para Dopple Labs?
Contenido
Caso de uso
Industria
Entretenimiento