대규모 AI 에이전트 구축: Tanka가 지능형 엔터프라이즈 커뮤니케이션을 위해 Zilliz Cloud를 활용한 방법
0개의 프로덕션 이슈
인프라 불안정성과 관련된
수천 개의 벡터 검색
피크 시간대에는 초당
의미 기억 엔진
도구와 시간을 아우르는 개념과 관계 이해하기
팀 업무 처리 역량의 100%
AI 혁신으로 리디렉션됨
Tanka 소개
Tanka는 AI 공동 창업자처럼 행동하도록 설계된 엔터프라이즈 에이전트 플랫폼입니다. 현대적인 업무 환경을 위해 구축된 Tanka는 스타트업 팀이 흩어진 메시지, 정리되지 않은 산출물, 반복적인 작업의 혼란을 헤쳐 나가도록 돕습니다. 고유한 장기 메모리를 통해 Tanka는 Slack, Gmail, Notion 등과 같은 도구 전반의 대화를 포착하고 연결하여, 단편화된 커뮤니케이션을 공유 조직 지식으로 전환합니다.
맥락을 인식한 응답을 제공하고, 회의를 요약하며, 적시에 작업 알림을 보내는 방식으로 Tanka는 팀 생산성과 의사결정을 향상시킵니다. 2024년 베타 출시 이후 Tanka는 1,000개 이상의 팀에 도입되었고 35,000건 이상의 AI 생성 응답을 제공했습니다.
의미론적 이해의 과제: 키워드 검색만으로는 충분하지 않을 때
Tanka의 빠른 도입은 핵심 가치 제안을 입증했습니다. 단순히 응답하는 것이 아니라 시간이 지남에 따라 비즈니스 맥락을 기억하고, 학습하고, 이해하는 AI 어시스턴트를 가능하게 하는 것입니다. 하지만 그 비전을 확장하는 과정에는 기술적 과제가 따랐으며, 특히 사용자들이 플랫폼에 더 많은 것을 요구하면서 더욱 두드러졌습니다.
초기에는 Tanka 팀이 BM25 키워드 기반 검색을 사용했습니다. 이는 빠르게 움직이고 기본 검색 사용 사례를 효과적으로 지원할 수 있게 해 준 실용적인 선택이었습니다. 간단한 쿼리에는 잘 작동했고, 팀이 기능적인 MVP를 빠르게 출시하는 데 도움이 되었습니다.
그러나 플랫폼이 Outlook, Gmail, Slack, Telegram, Notion 및 기타 도구를 지원하도록 확장되면서 데이터 모델의 복잡성과 사용자 기대치가 크게 증가했습니다. 팀들은 더 이상 고립된 키워드를 검색하지 않았습니다. 메시지, 회의, 문서, 앱 전반의 관계를 시스템이 이해해야 하는 미묘하고 맥락적인 질문을 던지고 있었습니다.
“우리는 간단한 쿼리를 위해 키워드 검색으로 시작했습니다.”라고 Tanka의 AI Architect인 Wu Junjie는 말합니다. “하지만 사용자들의 요구가 진화하면서, 그들이 단순한 문자열 일치가 아니라 의미론적 답변을 기대하고 있다는 점이 분명해졌습니다.”
이는 더 깊은 과제의 시작을 알렸습니다. 사용자가 의도한 바와 키워드 기반 시스템이 제공할 수 있는 것 사이의 의미론적 격차를 메우는 일이었습니다. 예를 들어, 사용자는 “제품 출시 이후 무엇이 바뀌었는지” 또는 “지난 금요일 영업 회의의 후속 조치”에 대한 요약을 요청할 수 있습니다. 이러한 쿼리는 이메일, 채팅, 회의록을 교차 참조해야 했습니다. 사람에게는 그 연결이 명확했습니다. 검색 엔진에게는 보이지 않았습니다.
한편, 중요도는 높아지고 있었습니다. 속도와 지능이 핵심 차별화 요소인 경쟁적인 영역에서 Tanka의 기존 검색 인프라는 부담의 징후를 보이기 시작했습니다. 데이터 양이 증가하면서 성능이 저하되었습니다. 특히 명확한 필터가 없는 광범위한 쿼리에서 검색 지연 시간이 증가했습니다. 하지만 더 깊은 문제는 속도가 아니라 전략적 불일치였습니다.
엔지니어링 팀은 로드맵에 있는 핵심 AI 기능을 구축하는 대신 취약한 검색 인프라를 유지보수하는 데 발목이 잡혔습니다. 다중 소스 인사이트, 지능형 주간 요약, 예측적 후속 조치와 같은 비전 있는 기능들은 여전히 손이 닿지 않는 곳에 머물렀습니다.
Tanka 팀은 키워드 검색이 그들을 멀리까지 데려왔지만, 충분히 멀리까지는 아니었다는 것을 깨달았습니다. 제품 비전의 다음 단계를 열기 위해서는 시간, 도구, 맥락 전반에 걸쳐 사용자 의도를 진정으로 이해할 수 있는 시스템이 필요했습니다.
솔루션: 성능과 신뢰성으로 메모리 확장하기
점점 커지는 기술적·운영적 과제에 직면한 Tanka 팀은 장기 메모리를 갖춘 AI 어시스턴트에서 사용자들이 기대하는 신뢰성을 제공하면서도 야심찬 제품 로드맵을 지원할 수 있는 솔루션을 찾기 시작했습니다.
벡터 검색 옵션 평가
Tanka는 잠재적 솔루션을 탐색하기 위해 체계적이고 심층적인 평가 프로세스를 시작했습니다. 초기 후보 중에는 PostgreSQL with pgvector와 Elasticsearch plugins가 있었습니다. 기존 스택과의 호환성 때문에 처음에는 매력적으로 보였습니다. 하지만 성능 테스트는 특히 메모리 집약적 워크로드에서 그 한계를 빠르게 드러냈습니다.
팀은 핵심 기준 전반에 걸쳐 직접 비교를 수행했습니다: 응답 시간, 처리량, CPU 사용률, 그리고 전반적인 확장성. 대부분의 플랫폼은 유사도 벡터 알고리즘이 대체로 표준화되어 있기 때문에 비슷한 정확도를 제공했지만, Milvus는 뛰어난 속도와 리소스 효율성으로 두각을 나타냈습니다.
"플랫폼 전반에서 정확도는 비슷했지만, Milvus는 속도와 리소스 효율성에서 명확히 우위를 차지했습니다."라고 Tanka의 AI Architect인 Wu Junjie는 말합니다.
평가 중 팀은 다음을 우선시했습니다:
실시간 지능의 환상을 유지하는 데 핵심적이었던 쿼리 속도;
대규모에서 인프라 비용을 지속 가능하게 유지하기 위한 CPU 효율성;
메모리 우선 어시스턴트에 대한 신뢰에 필수적인 운영 안정성.
빠르게 증가하는 데이터 볼륨과 사용자 기반을 지원하기 위한 확장성.
셀프 호스팅에서 관리형 서비스로
Tanka는 처음에 개발 및 초기 프로덕션 환경에서 셀프 호스팅 Milvus를 배포했습니다. 이는 올바른 선택이었으며, 제품에 필요한 저지연 벡터 검색을 제공했습니다. Milvus는 핵심 약속인 강력하고 효율적인 대규모 유사도 검색을 충실히 제공했습니다.
그러나 플랫폼이 성숙하고 사용량이 증가하면서, 인프라 관리 부담이 점차 방해 요소가 되기 시작했습니다. Milvus 클러스터를 사내에서 실행하고 유지한다는 것은 엔지니어링 팀이 확장과 장애 조치부터 모니터링 및 복구에 이르기까지 모든 것을 관리해야 한다는 의미였습니다.
Milvus 엔진 자체는 계속 안정적이었지만, 노드 장애나 네트워크 문제와 같은 인프라 관련 사고는 사용자 경험에 직접적인 영향을 미치는 위험과 다운타임을 초래했습니다.
시간이 지나면서 트레이드오프는 명확해졌습니다: 팀은 데이터베이스 인프라를 유지하는 것이 아니라 제품 기능을 구축하는 데 집중해야 했습니다.
Zilliz Cloud로 마이그레이션
Milvus의 완전 관리형 버전인 Zilliz Cloud로 이전하는 선택은 분명해졌습니다. 이는 사내에서 클러스터를 관리하는 부담 없이, 엔터프라이즈급 안정성과 함께 동일한 고성능 코어를 제공했습니다.
Tanka처럼 간결하고 빠르게 움직이는 팀에게 운영 복잡성을 외부에 맡기는 것은 판도를 바꾸는 일이었습니다:
더 이상 인프라 문제를 해결하느라 소방수처럼 대응할 필요 없음
메모리 핵심 애플리케이션을 위한 더 높은 가동 시간과 일관성
혁신과 사용자 경험에 집중할 수 있는 더 많은 엔지니어링 시간
Zilliz의 내장 마이그레이션 서비스는 전환을 원활하고 저위험으로 만들었습니다. 신속한 기술 지원과 매끄러운 S3 통합을 통해 Tanka 팀은 최소한의 중단으로 클라우드로 이전했습니다.
구현: Zilliz Cloud로 고급 AI 메모리 구동
안정적인 인프라가 마련되면서, Tanka는 마침내 자신들을 진정으로 차별화하는 요소에 집중할 수 있게 되었습니다: 단순 검색을 훨씬 뛰어넘는 AI-native 메시징 플랫폼을 위한 고급 메모리 기능을 구축하는 것입니다. Zilliz Cloud로 구동되는 Tanka의 구현은 조직 지식을 대규모로 실행 가능하게 만드는 풍부하고 맥락 인식적인 애플리케이션을 지원하도록 설계되었습니다.
기본 검색을 넘어: 대규모 Semantic Memory
Tanka 시스템의 핵심에는 검색 증강 생성(RAG) 파이프라인이 있어, 사용자가 Slack, Gmail, Notion과 같은 연결된 업무 도구 전반에서 관련 정보에 접근할 수 있도록 합니다. 그러나 표면적 유사성을 기반으로 문서를 검색하는 일반적인 RAG 시스템과 달리, Tanka는 한 단계 더 나아갑니다.
전처리 중 Tanka는 원시 콘텐츠에서 상위 수준의 개념을 포착하기 위해 엔티티 및 관계 추출을 수행합니다. 그런 다음 이들은 벡터 임베딩으로 변환되어 Zilliz Cloud에 저장되며, 이를 통해 단순히 무엇이 말해졌는지뿐만 아니라 서로 다른 아이디어, 사람, 행동이 어떻게 연결되어 있는지를 기반으로 검색할 수 있습니다.
이를 통해 사용자는 “우리 Q3 계획 수립 노력에서 핵심 후속 조치는 무엇이었나요?”와 같은 복잡하고 추상적인 질문을 할 수 있으며, 키워드 매칭이 아니라 구조화된 지식에 기반한 답변을 받을 수 있습니다.
이 접근 방식은 Zilliz Cloud를 저장 계층에서 semantic memory 엔진으로 전환하여, 어시스턴트가 조직 전반의 맥락, 이력, 패턴을 이해하도록 돕습니다.
실시간 처리와 지속적인 업데이트
Tanka의 시스템은 연결된 플랫폼에서 데이터를 실시간으로 수집하고 처리하여 AI 어시스턴트가 항상 최신 조직 상태를 반영하도록 보장합니다. 팀이 소통하고 협업함에 따라 새로운 벡터가 생성되고 Zilliz Cloud에 인덱싱되어, 수동 개입 없이도 어시스턴트를 최신 상태로 유지합니다.
파이프라인에는 다음이 포함됩니다:
이메일, 채팅, 문서에서의 다중 소스 수집
엔터티 및 관계 추출을 위한 전처리
빠른 의미 기반 검색을 위한 Zilliz Cloud에서의 벡터 임베딩 및 인덱싱
이를 통해 AI 어시스턴트는 살아 있는 메모리 계층으로 작동하여 사용자가 인사이트를 발견하고, 결정을 회상하며, 변화하는 팀 역학을 이해하도록 돕습니다.
유연한 멀티 모델 AI 스택
이 인프라를 보완하기 위해 Tanka는 유연한 멀티 모델 LLM 전략을 사용합니다. 시스템은 주로 추론 및 요약에 Gemini 2 Flash와 Claude 3.7 Sonnet을 활용하며, 지시 사항이 많은 작업에는 OpenAI 모델을 선택적으로 적용합니다. 속도 제한을 피하고 제공업체 전반에서 회복력 있는 성능을 보장하기 위해 Tanka는 OpenRouter를 사용해 API 액세스와 라우팅을 관리합니다.
이점과 결과: 혁신적인 비즈니스 영향
Zilliz Cloud와의 협력은 Tanka의 기술적 문제점을 해결하는 데 그치지 않고 회사의 궤적을 재편했습니다. 인프라가 안정화되고 성능이 최적화되면서 팀은 마침내 운영상의 긴급 대응에서 AI 혁신으로 초점을 전환할 수 있었습니다. 이러한 이점은 조직의 모든 계층에 영향을 미쳐 새로운 수준의 속도, 신뢰성, 규모를 열어 주었습니다.
즉각적인 운영 부담 완화
가장 즉각적이고도 극적인 영향은 인프라 불안정성과 관련된 프로덕션 문제의 제거였습니다. Zilliz Cloud로 이전하기 전에는 데이터베이스 관련 사고가 때때로 서비스를 중단시키고 사용자 신뢰를 저해했습니다. 이제는 더 이상 그렇지 않습니다.
“Zilliz Cloud로 이전한 후, 우리는 데이터베이스 장애와 관련된 프로덕션 문제를 사실상 제거했습니다,”라고 Tanka의 AI Architect인 Wu Junjie는 말합니다. “이전에는 사용자에게 영향을 미치는 사고가 가끔 있었습니다. 이제 그런 문제는 사라졌습니다.”
이러한 개선은 지속적인 조직 메모리를 약속하는 플랫폼에 매우 중요했습니다. 데이터베이스 신뢰성이 더 이상 걱정거리가 아니게 되면서, 사용자는 축적된 지식에 빠르고 중단 없이 접근할 수 있다고 매일 신뢰할 수 있게 되었습니다.
엔지니어링을 혁신에 다시 집중
인프라에 대한 걱정이 사라지자 Tanka의 엔지니어링 팀은 제품 개발과 혁신에 시간을 재배분할 수 있었습니다. 장애 조치, 백업, 알림을 처리하는 대신 엔지니어들은 Tanka의 경쟁 우위를 정의하는 기능을 구축하는 데 집중할 수 있었습니다.
“Zilliz의 성능과 신뢰성은 우리의 RAG 요구사항을 완전히 충족합니다,”라고 Wu Junjie는 말합니다. “이를 통해 우리는 진정한 가치가 있는 차별화된 AI 메모리 기능을 구축하는 데 기술적 노력을 집중할 수 있습니다.”
이러한 전환은 더 빠른 반복 주기, 더 야심 찬 기능 출시, 그리고 엔지니어링 노력과 비즈니스 전략 간의 더 긴밀한 정렬로 이어졌습니다.
대규모 환경에서의 일관된 성능
Tanka의 사용자 기반이 성장함에 따라 백엔드에 대한 요구도 증가했습니다. 현재 시스템은 피크 시간대에 초당 수천 건의 동시 벡터 검색 작업을 처리하며, 수백만 개의 메시지, 문서, 이벤트에 걸친 3년 이상의 조직 데이터를 활용합니다.
이러한 성능 일관성은 제품 계획에서 인프라 한계를 요인에서 제거했습니다. Tanka의 팀은 이제 백엔드가 이를 감당할 것임을 알고 주저 없이 구축하고 확장할 수 있습니다.
결론
초기 인프라 문제에서 Zilliz Cloud를 통한 프로덕션 성공에 이르기까지 Tanka의 여정은 강력한 교훈을 보여줍니다: 올바른 벡터 데이터베이스 기반은 성능을 향상시키는 데 그치지 않고 혁신을 가능하게 합니다.
Zilliz Cloud와의 파트너십을 통해 Tanka는 프로덕션 인시던트를 없애고, 엔지니어링 생산성을 높였으며, 대규모에서도 일관된 성능을 달성했습니다. 더 중요한 것은, 이러한 전환을 통해 Tanka가 핵심 미션에 전적으로 집중할 수 있게 되었다는 점입니다. 바로 기본적인 검색을 훨씬 뛰어넘는 AI Assistants를 위한 차세대 메모리 기능을 구축하는 것입니다.
메모리 집약적 애플리케이션을 개발하는 AI 기업들에게 Tanka의 경험은 인프라 의사결정이 혁신 속도와 제품 성공에 얼마나 직접적인 영향을 미치는지 보여줍니다. 성능, 신뢰성, 운영 단순성은 단순한 기술 요구사항이 아니라 전략적 성공 요인입니다.
올바른 기반이 갖춰지면서 Tanka는 야심 찬 비전을 시장을 선도하는 현실로 전환했습니다. 이는 인프라가 제약이 아니라 역량을 강화할 때, 혁신적인 AI는 단지 가능한 것을 넘어 필연적이라는 사실을 증명합니다.