도플 랩이 안전한 고성능 벡터 검색을 위해 Pinecone 대신 Zilliz Cloud를 선택한 이유
파인콘 대안
세분화된 제어, 효과적인 확장 및 고성능을 제공합니다.
10억 규모
벡터 데이터 저장 및 검색
오픈 소스
향상된 ML 및 VectorDB 성능
I appreciated using the open standard evaluation benchmarks for machine learning in general; this is also true for vector databases. The ones that Zilliz often publicizes have been beneficial, and the fact that they are open is significant.
Sam Butler
도플 AI 소개
는 인간과 인공지능의 상호작용을 혁신하는 혁신적인 플랫폼인 Dopple.AI의 비전을 제시하는 회사입니다. iOS와 Android에서 사용할 수 있는 Dopple.AI는 사용자가 실물과 같은 AI 클론, 즉 '도플'을 만들어 비디오, 오디오, 메시징을 원활하게 통합하여 몰입형 경험을 제공할 수 있도록 지원합니다.
Dopple.AI의 핵심은 사용자가 다양한 기기에서 채팅 스레드를 통해 도플과 상호작용하는 고급 Llama2 기반 LLM 기술을 활용합니다. 도플 랩에서 만들었든 사용자가 직접 만들었든, 도플은 사용자 입력과 프롬프트에 따라 실제와 같은 대화에 참여합니다.
최근 도플 랩은 이미지 반응과 같은 획기적인 기능을 도입하여 감정이 풍부한 이미지로 도플과 사용자의 상호작용을 향상시켰습니다. 또한 음성 캡션과 실시간 오디오 스트리밍은 시청각 경험을 한층 더 향상시켜 더 깊은 참여와 연결을 촉진합니다.
Dopple.AI는 AI 기반 동반자 관계의 경계를 계속 넓혀가면서 개인이 개인화된 AI 클론과 상호작용하는 방식을 재정의하는 데 앞장서고 있습니다.
도전 과제: 챗봇 대화에 메모리 제공
도플 AI 사용자는 플랫폼의 AI 캐릭터에 대한 깊은 이해를 바탕으로 고급 기술을 사용하여 상호작용을 형성합니다. 메시지 편집 및 재전송과 같은 기능을 활용하여 대화를 유도하고, 대화에 대한 통제력을 보여주며, 개인화된 대화를 만들어냅니다. 기본적으로 사용자는 AI 캐릭터와의 대화를 능숙하게 구성하는 '프롬프트 엔지니어(https://zilliz.com/glossary/prompt-as-code-(프롬프트 엔지니어링))'의 역할을 합니다. 이들은 전략적인 프롬프트와 편집을 통해 자신의 선호도와 목적에 맞게 대화를 조정하여 역동적인 상호작용을 이끌어냅니다.
머신러닝 디렉터인 샘 버틀러가 이끄는 도플 AI 팀은 대화 요약을 저장하여 메모리 저장 시스템을 구현하는 검색 증강 생성(RAG)기술을 사용하여 이러한 종류의 기능을 구축할 수 있습니다. 여기에는 문맥을 위한 몇 가지 메시지와 메모리를 저장하고자 하는 주요 메시지를 가져오는 것이 포함됩니다. 그런 다음 다른 LLM을 사용하여 해당 메시지의 요약을 생성합니다. 결과 요약은 벡터 데이터베이스에 내장되어 저장됩니다.
사용자가 쿼리를 제출하면 해당 쿼리는 벡터 데이터베이스에서 유사한 임베딩을 검색하는 데 사용되는 임베딩으로 변환됩니다. 이를 통해 LLM에 주어진 프롬프트의 즉각적인 컨텍스트 창을 넘어 과거 대화에 액세스할 수 있습니다. 이전 상호 작용의 임베딩을 활용함으로써 LLM은 장기적인 메모리 기능을 확보할 수 있습니다. 예를 들어 사용자가 '내 애완 물고기의 이름이 뭐야?"라고 물었는데 애완 물고기에 대한 대화가 컨텍스트 창 밖의 과거에 이루어진 경우, 해당 쿼리를 임베딩으로 변환하여 벡터 데이터베이스에서 해당 정보를 검색할 수 있습니다.
롤링으로 롤링하여 롤플레잉 스토리 라인 제어하기
사용자는 가장 최근 메시지를 유연하게 편집할 수 있어 LLM과의 대화를 구체화할 수 있습니다. 만족스럽지 않은 응답을 받은 경우, 마지막 메시지를 변경하지 않고 '리롤'을 선택하면 LLM이 다른 옵션을 탐색하기 위해 새로운 응답을 요청할 수 있습니다. 또한 사용자는 마지막 메시지를 다시 방문하여 수정함으로써 LLM의 응답에 영향을 미치고 원하는 방향에 맞게 단계별로 대화를 구성할 수 있습니다. 이러한 수준의 제어 기능은 대화에 대한 명확한 목표를 염두에 두고 있는 고급 사용자에게 특히 유용합니다. 반대로 초보 사용자나 사용 빈도가 낮은 사용자는 대화가 자연스럽게 전개되도록 보다 수동적인 역할을 수행할 수 있습니다. 하지만 도플 AI의 핵심 사용자층은 일반적으로 퀘스트를 시작하거나 롤플레잉 시나리오에 참여하는 것과 같이 적극적으로 참여하여 특정 결과를 향해 대화를 유도하려는 의도를 반영합니다.
각 대화 요약은 데이터베이스에 고유한 항목으로 저장되므로 사용자 이름을 기준으로 효율적으로 필터링할 수 있습니다. 요약은 서너 개의 메시지를 하나의 일관된 요약으로 통합하여 생성되며, 이 요약은 벡터 데이터베이스에 원활하게 통합됩니다. 이 과정은 무기한으로 계속 진행되어 대화 메모리가 지속적으로 축적됩니다. 사용자가 대화 스레드를 명시적으로 삭제하지 않는 한 메모리는 유지되며, 이 경우 관련 메모리도 삭제됩니다. 그러나 향후에 대화를 다시 방문하거나 계속 진행하려는 경우, 해당 메모리는 벡터 데이터베이스 내에서 계속 액세스할 수 있습니다.
이 RAG 구현의 흥미로운 측면은 이러한 캐릭터와 미디어 참조 중 상당수가 시대를 초월하고 훈련 데이터에 자주 등장하기 때문에 자동화된 사실 확인이 덜 중요해진다는 점입니다. 이는 사용자가 사실의 정확성보다 엔터테인먼트적 가치를 우선시하기 때문입니다.
솔루션 안전한 고성능 벡터 검색을 위한 질리즈 클라우드
샘 버틀러는 ML 팀과 앱 및 웹 플랫폼에서 디자인을 구현하는 프론트엔드 팀 간의 조율도 감독합니다. 업계의 다른 많은 사람들과 마찬가지로 가장 큰 과제 중 하나는 최신 모델의 발전을 따라잡는 것입니다. 새로운 모델이 끊임없이 등장하고 기술이 발전함에 따라 이를 따라잡기 위해서는 상당한 노력이 필요합니다. 바로 이 점에서 질리즈와 같은 매니지드 서비스 제공업체와의 파트너십은 데이터베이스 최적화에 대한 질리즈의 전문성을 활용하면서 핵심 제품에 집중할 수 있게 해주는 매우 중요한 역할을 합니다.
대규모 검색이 필요하고 인덱스 크기와 관련하여 시간이 지남에 따라 도구의 확장성이 필요했기 때문에 Pinecone에서 GCP의 Zilliz Cloud로 전환했습니다. Pinecone은 관리형 서비스를 제공했지만, 필요한 세분화된 제어와 진정한 의미의 효과적인 확장이 부족했습니다. 인덱스 확장에 따른 컴퓨팅 할당 및 일관된 실시간 성능과 같은 성능 메트릭에 관한 인사이트와 데이터에 대한 액세스가 매우 중요했습니다. 벡터 인덱스에 수억에서 수십억 개의 데이터 포인트가 포함될 것으로 예상되는 상황에서 이러한 확장 요구 사항을 효과적으로 처리할 수 있는 솔루션을 찾던 중 이 사용 사례를 지원하기 위해 Zilliz Cloud를 선택하게 되었습니다.
파인콘](https://zilliz.com/comparison/pinecone-vs-zilliz-vs-milvus)으로 문제를 겪은 후, 샘은 다양한 벡터 데이터베이스에 대한 다양한 벤치마크와 리더보드를 탐색하다가 결국 질리즈 클라우드를 발견했습니다. 특히 벤치마크 결과에 관심이 많았던 도플 AI 팀은 이 발견에 흥분했고, 질리즈 클라우드의 잠재적 이점을 더 자세히 살펴보고 싶어 했습니다.
도플 랩의 다음 계획은 무엇인가요?
샘과 그의 팀은 최근 시각적 오디오 경험을 도입하여 서비스를 개선했습니다. 먼저 이미지 반응을 통합하여 각 캐릭터에게 30가지 감정을 묘사하는 약 800~900개의 다양한 이미지 세트를 여러 가지 버전으로 제공했습니다. 추론하는 동안 다른 LM이 반응의 분위기를 결정하고 해당 감정 범주에서 임의의 이미지를 선택하여 다양성을 보장합니다. 또한 실시간 오디오 스트리밍을 위해 LM 추론 제공업체의 음성 캡션과 스트리밍 캐릭터를 ElevenLabs에 도입했습니다. 이 동기화된 시청각 경험은 앱에 표시되는 텍스트와 함께 감정 반응 이미지를 표시합니다. 그리고 이것은 시작에 불과하며 향후 글라이드 음성 통화, 움직이는 이미지 및 비디오를 추가할 계획입니다. 궁극적으로 사용자는 도플과 FaceTime 통화를 통해 실시간으로 대화를 나눌 수 있습니다.