Solvely.ai가 Zilliz Cloud의 초고속 벡터 검색으로 전 세계 AI 학습을 확장하는 방법
70% 더 낮은 지연 시간
피크 트래픽 중에도 100ms 미만의 벡터 검색
4–5× 더 빠른 답변
더 나은 학습자 경험을 위한 전문가 검토 솔루션 즉시 매칭
~60% 낮은 인프라 비용
수억 개의 질문으로 비용 효율적인 확장
무중단
전 세계적인 고동시성 워크로드에서도 안정적이고 신뢰할 수 있는 성능
From a performance standpoint, Zilliz Cloud's retrieval speed far exceeds our existing system. We achieved approximately 70% reduction in retrieval latency, which translates to a 4-5x improvement in overall problem-solving time when we successfully match original questions. Whether measured by speed, cost, or overall value, Zilliz Cloud perfectly met our expectations.
Dr. Nick Yuan
Solvely 소개
Solvely.ai는 K–12, 고등교육, 평생 학습자를 아우르며 거의 1,000만 명의 학생, 교육자, 전문가에게 서비스를 제공하는 AI 기반 학습 플랫폼입니다. 수학, 비즈니스, 의학 및 생명과학, STEM 과목에서 강점을 인정받는 Solvely는 학습 자료를 즉각적인 설명, 개인화된 연습, 멀티모달 학습 가이드로 전환합니다.
Solvely를 차별화하는 것은 하이브리드 접근 방식입니다. AI 모델이 지능적인 해답을 생성하는 동시에 전문가가 검증한 방대한 콘텐츠 라이브러리를 교차 참조하여, 정확성을 추구하는 학습자에게 신뢰할 수 있는 도구가 됩니다. 하지만 해당 문제 은행이 수억 개 규모로 성장하고 사용자 기반이 계속 빠르게 확장되면서, 빠르고 신뢰할 수 있는 답변을 제공하는 것은 주요 엔지니어링 과제가 되었습니다. 이러한 압박은 결국 팀이 벡터 검색의 엔진으로 Zilliz Cloud 벡터 데이터베이스를 도입하도록 이끌었습니다.
Zilliz Cloud를 통해 Solvely는 이제 더 빠른 응답, 더 낮은 지연 시간, 더 원활한 학습 경험을 제공하여 수백만 명의 학습자가 필요한 바로 그 순간에 필요한 지원을 받을 수 있도록 돕고 있습니다. Solvely가 제품 제공 범위와 글로벌 도달 범위를 계속 확장함에 따라, Zilliz Cloud는 플랫폼이 최상의 성능을 유지하도록 하는 확장 가능하고 비용 효율적인 벡터 기반을 제공하며, 접근 가능하고 고품질의 학습이라는 Solvely의 비전을 현실에 한 걸음 더 가깝게 만듭니다.
레거시 시스템의 성장통
Solvely의 핵심 기능 중 하나는 학생이 제출한 문제를 검증된 고품질 문제와 답변으로 구성된 큐레이션 데이터베이스와 빠르게 매칭하는 데 의존합니다. 이 접근 방식은 구조화된 문제 은행의 신뢰성과 대규모 언어 모델의 유연성 및 추론 능력을 결합합니다.
이를 가능하게 하기 위해 Solvely는 처음부터 벡터 유사도 검색을 사용했습니다. 기존의 키워드 기반 및 템플릿 기반 시스템은 텍스트를 문자 그대로만 매칭할 수 있어, 약간 다르게 표현되거나 다른 방식으로 제시된 유사한 문제를 놓쳤습니다. 벡터 검색을 통해 Solvely는 학생의 수학 또는 과학 문제를 임베딩하고 개념적으로 유사한 문제를 검색할 수 있었으며, 큐레이션된 정확한 해답과 예시 기반 검색을 통한 향상된 AI 추론을 모두 지원했습니다. 이를 위해 벡터 인프라에는 두 가지 핵심 역량이 필요했습니다. 수백만 개의 문제를 개념별로 그룹화하기 위한 대규모 오프라인 클러스터링과 실시간 숙제 워크플로를 지원하기 위한 빠르고 신뢰할 수 있는 온라인 검색입니다.
초기 단계에서는 기존 서비스가 이러한 요구를 잘 처리했습니다. 데이터셋이 더 작고 트래픽 규모가 낮았을 때는 쿼리 지연 시간과 비용을 관리할 수 있었고, 시스템의 간단한 API는 팀이 빠르게 움직이는 데 도움이 되었습니다. 하지만 규모가 커지면 복잡성도 커집니다. 라이브러리에 수억 개의 문제가 있고 수백만 명의 사용자가 플랫폼에 의존하게 되면서, 성능과 비용은 플랫폼이 요구하는 수준에서 벗어나기 시작했습니다. 한때 수백 밀리초였던 지연 시간은 많은 학생이 동시에 쿼리를 제출하는 피크 시간대에 1초를 초과했습니다. 이러한 지연은 학생 경험에 직접적인 영향을 미쳤습니다.
비용도 문제가 되었습니다. 허용 가능한 성능을 유지하려면 훨씬 더 비싼 티어로 업그레이드해야 했고, 기존 시스템의 가격 모델로 인해 스토리지 및 검색 비용이 Solvely의 실제 사용량보다 더 빠르게 증가했습니다. 결국 팀은 레거시 시스템이 더 이상 지속 가능하지 않은 지점에 도달했습니다. Solvely에는 더 낮은 지연 시간, 더 예측 가능한 확장성, 빠르게 성장하는 글로벌 교육 플랫폼에 적합한 비용 구조가 필요했습니다. 이러한 성능 및 비용 압박이 결합되면서, 팀은 고용량·비용 민감형 AI 애플리케이션에 더 적합한 대체 벡터 데이터베이스를 평가하게 되었습니다.
Zilliz Cloud를 선택한 이유
Solvely가 대체 벡터 데이터베이스를 평가하기 시작했을 때, Zilliz Cloud는 빠르게 유력 후보로 떠올랐습니다. 팀은 초기 개발 단계에서 Zilliz 팀이 구축한 널리 채택된 오픈 소스 벡터 데이터베이스인 Milvus에 대해 이미 풍부한 경험을 가지고 있었습니다. 이러한 익숙함은 Solvely가 완전 관리형 솔루션으로의 전환을 고려하는 과정에서 기술과 더 넓은 생태계 모두에 대한 확신을 주었습니다.
이들의 평가는 세 가지 실용적 기준에 초점을 맞췄습니다:
높은 동시성에서의 검색 속도
대규모 환경에서의 비용 효율성
운영의 단순성
정확한 비교를 위해 Solvely는 자사 데이터의 대표적인 일부를 Zilliz Cloud로 마이그레이션하고 기존 배포 환경과 직접 벤치마크 테스트를 실행했습니다. 결과는 명확했습니다:
Zilliz Cloud는 동일한 부하에서 2–3배 더 빠른 검색 속도를 제공했습니다.
지연 시간은 피크 동시성 상황에서도 1초 이상에서 100 ms 미만으로 감소했습니다.
Zilliz Cloud의 더 효율적인 리소스 활용과 유리한 가격 모델 덕분에 인프라 비용은 약 60% 감소했습니다.
운영의 단순성은 원시 성능만큼이나 중요한 것으로 입증되었습니다. 문제 은행이 수억 개 규모로 확장됨에 따라, Solvely는 추가 엔지니어링 오버헤드 없이 원활하게 확장되는 서비스를 필요로 했습니다. Zilliz Cloud는 이러한 요구를 충족하여 팀이 백엔드 인프라 유지보수보다 학생 학습 경험 개선에 집중할 수 있게 했습니다.
“우리는 별도의 복잡한 설정 없이 빠르게 라이브로 전환할 수 있도록 지원하는 무언가를 원했습니다.”라고 Solvely의 CTO인 Dr. Nick Yuan은 말했습니다.
속도와 비용을 넘어, Zilliz Cloud의 기능 세트는 Solvely의 플랫폼이 계속 성장함에 따라 필요한 유연성을 제공했습니다. 파티션 및 클러스터 관리를 통해 방대한 문제 데이터베이스를 과목 및 콘텐츠 유형별로 구성할 수 있었습니다. 실시간 부하 기반의 동적 스케일링과 예측 가능한 트래픽 급증에 대비한 예약 스케일링을 모두 지원하는 Auto-scaling은 숙제 시간이 몰리는 피크 시간대에도 일관되게 강력한 성능을 보장했습니다.
솔루션: Zilliz Cloud로 Solvely의 AI 학습 시스템 구동
Solvely의 시스템은 교육용 문제 해결에 최적화된 단일 엔드투엔드 Retrieval-Augmented Generation (RAG) 파이프라인으로 작동합니다. 큰 틀에서 이 파이프라인은 긴밀히 연결된 두 단계로 구성됩니다:
대규모 고품질 문제 은행을 사전에 준비
학생이 질문을 제출할 때 실시간으로 낮은 지연 시간의 시맨틱 검색 수행.
Zilliz Cloud는 파이프라인 전반에서 벡터 검색 계층 역할을 하며, 대규모 오프라인 인덱싱과 높은 동시성의 온라인 검색을 모두 지원합니다.
문제 은행 준비
실시간 쿼리가 처리되기 전에, Solvely는 학생이 업로드한 숙제 사진과 전문가가 큐레이션한 데이터셋을 포함한 여러 출처의 수억 개 문제를 처리하고 구성합니다. 이러한 입력은 구조와 품질이 크게 다르기 때문에, 대규모로 안정적으로 검색될 수 있도록 먼저 정규화되고 보강되어야 합니다.
콘텐츠 수집: 숙제 이미지와 수동으로 작성된 문제는 서로 다른 형식으로 시스템에 입력됩니다. Solvely는 이 콘텐츠를 정제, 중복 제거, 표준화하여 Zilliz Cloud에서 균일하게 처리되고 일관되게 인덱싱될 수 있도록 합니다.
과목 인식 정규화: 각 문제는 일반 텍스트로 평탄화되는 것이 아니라, 과목별 구조와 의미를 보존하기 위해 해당 학문 영역 내에서 처리됩니다. 예를 들어:
Chemistry: 분자식, 원소 기호, 반응식이 그대로 유지됩니다
Geometry: 공간 관계와 도표 관련 정보가 보존됩니다
Humanities: 서사 흐름과 맥락적 의미가 유지됩니다
임베딩 생성: Solvely는 Google 또는 OpenAI 모델을 사용하여 전체 문제 코퍼스에 대한 임베딩을 생성합니다. 이러한 벡터는 사전에 Zilliz Cloud에 저장되고 인덱싱되어, 쿼리 시 낮은 지연 시간의 시맨틱 검색을 위한 기반을 형성합니다.
Zilliz Cloud와의 직접 통합: 생성된 벡터와 메타데이터는 Zilliz Cloud에 직접 기록됩니다. 파이프라인을 가볍게 유지하고 복잡한 오케스트레이션 도구를 피함으로써, Solvely는 더 나은 성능 제어를 유지하고 다양한 과목에 맞게 시스템을 미세 조정할 수 있습니다.
학생 워크플로 중 실시간 검색
학생이 숙제 질문을 제출하면, 동일하게 준비된 인프라가 실시간으로 활성화됩니다. 이 온라인 워크플로는 빠르고 안정적이어야 하며, 높은 동시성하에서 복잡한 학업 입력을 처리할 수 있어야 합니다.
질문 전처리:
질문이 이미지로 제출된 경우, OCR이 먼저 텍스트를 추출합니다. 그런 다음 시스템은 수식, 기호, 도표 관련 단서를 식별하고 입력을 임베딩에 적합한 깔끔하고 표준화된 표현으로 변환합니다.
Zilliz Cloud를 사용한 벡터 검색:
처리된 질문은 Google 또는 OpenAI 임베딩 모델을 사용해 1000차원 이상의 벡터로 변환되어 유사도 검색을 위해 Zilliz Cloud로 전송됩니다. 이 프로세스를 통해 시스템은 정확한 문구가 아니라 의미를 기준으로 검색할 수 있습니다.
그런 다음 Solvely는 두 가지 유형의 상호 보완적 검색을 수행합니다:
배경 지식 검색: 화학 상수, 수학 항등식 또는 관련 참고 자료와 같은 과목별 배경 정보를 가져옵니다. 이러한 기반 정보는 LLM이 더 정확하게 추론하도록 돕고 근거 없는 답변이나 환각을 줄입니다.
유사 질문 검색:: Solvely 데이터베이스에서 이전에 해결되고 사람이 검토한 질문을 찾습니다. 이러한 후보는 벡터 검색만으로는 놓칠 수 있는 미묘한 유사성을 포착하기 위해 LLM에 의해 재순위화되어, 가장 관련성 높은 예시가 사용되도록 합니다.
검색된 콘텐츠의 과목별 활용:
Solvely는 과목에 따라 서로 다른 규칙을 적용합니다. 수학과 과학의 경우, 검색된 예시는 AI가 정확한 숫자나 답을 복사하지 않고 풀이 방법을 이해하도록 돕습니다. 인문학의 경우, 검색된 자료는 고정된 답을 제공하기보다는 설명과 해석을 지원하기 위한 배경과 맥락을 제공합니다.
더 높은 답변 품질을 위한 쿼리 재구성:
마지막으로, 시스템은 원래 질문의 더 넓은 의도를 포착하기 위해 질문을 다시 표현할 수 있습니다. 예를 들어 정확한 표현이 아니라 그 이면의 개념에 초점을 맞추는 것입니다. 이는 직접적인 텍스트 일치는 아니지만 문제를 올바르게 해결하는 데 필수적인 유용한 맥락을 검색하는 데 도움이 됩니다.
마이그레이션 프로세스는 놀라울 정도로 순조로웠습니다
Solvely가 데이터베이스 전환과 관련해 가장 크게 우려한 점 중 하나는 마이그레이션 자체였습니다. 기존 시스템에는 수억 개의 질문이 저장되어 있었습니다. 그 모든 데이터를 옮기는 데 얼마나 걸릴까요? 복잡한 마이그레이션 스크립트를 작성해야 할까요? 사용자에게 영향을 주는 다운타임이 발생할까요?
실제로 마이그레이션은 놀라울 정도로 순조로웠습니다. Zilliz Cloud는 이전 시스템에 직접 연결되는 내장 마이그레이션 도구를 제공했습니다. 프로세스는 본질적으로 원클릭이었습니다. 연결을 구성하고, 마이그레이션할 항목을 지정한 다음, 파이프라인을 실행하면 됩니다. 도구가 벡터 전송, 메타데이터 관리, 구조 보존이라는 무거운 작업을 처리했습니다. 팀은 사용자 지정 코드를 작성하거나 복잡한 데이터 파이프라인을 오케스트레이션할 필요가 없었습니다.
결과 및 영향
Zilliz Cloud로 마이그레이션한 후, Solvely는 여러 측면에서 측정 가능한 개선을 확인했습니다:
70% 더 낮은 지연 시간: 검색 단계 지연 시간이 이전 배포와 비교해 약 70% 감소했습니다. 피크 트래픽 동안 이전에는 1초 이상 걸리던 쿼리가 이제 수십 밀리초에서 낮은 수백 밀리초 내에 완료됩니다.
~60% 더 낮은 인프라 비용: 벡터 검색을 위한 월간 인프라 비용은 마이그레이션 직후 약 60% 감소했으며, 동일하거나 더 많은 쿼리 볼륨을 처리했습니다.
더 나은 검색 정확도: 화학, 기하학, 미적분학처럼 LLM이 전통적으로 어려움을 겪는 과목에서 RAG 기반 접근 방식은 솔루션 정확도를 크게 향상시켰습니다. 기준 모델의 성능이 이미 강력하다는 점을 고려하면, 이러한 점진적 향상은 의미가 큽니다.
제로 다운타임, 높은 가용성: 마이그레이션 이후 다운타임이 전혀 없었고 성능 문제도 최소화되었습니다. 시스템은 다양한 부하 조건을 원활하게 처리합니다. 질문이 생기거나 무언가를 최적화하고 싶을 때는, 이들의 사용 사례를 잘 이해하는 기술 전문가가 이끄는 지원팀으로부터 빠른 응답을 받습니다.
성능 개선을 넘어, Solvely의 엔지니어링 팀은 명확한 운영상의 이점도 확인했습니다. Zilliz Cloud의 문서와 예제 덕분에 쉽게 시작할 수 있었고, 문제가 발생했을 때 지원팀은 신속하게 대응했습니다. 자동 및 예약 스케일링과 같은 기능은 인프라 관리의 일상 업무를 줄여 주었고, 그 결과 팀은 제품 구축에 더 집중할 수 있었습니다.
배운 점
Solvely의 경험은 유사한 AI 기반 검색 시스템을 구축하는 팀에 몇 가지 실용적인 시사점을 제공합니다:
유사한 질문은 정확히 일치하는 질문만큼 중요합니다. 팀은 처음에는 정확히 일치하는 질문에 크게 의존할 것으로 예상했습니다. 실제로는 숫자 값이 바뀌는 등 사소한 변형이 있는 유사한 질문도 그만큼 가치 있는 것으로 드러났습니다. 이를 LLM에 컨텍스트로 제공함으로써 정확히 일치하는 항목이 없을 때도 답변 품질이 향상되었습니다.
쿼리를 다시 작성하면 더 관련성 높은 결과를 찾는 데 도움이 됩니다. 사용자의 원래 질문을 그대로 임베딩하는 대신, 벡터 데이터베이스에 데이터가 저장된 방식과 더 잘 맞도록 다시 작성하면 더 나은 검색 결과로 이어졌습니다.
검색 후 결과를 재순위화하면 정확도가 향상됩니다. 최종 응답 생성 전에 LLM을 사용해 검색된 후보를 평가하고 순위를 매기면, 특히 도표나 공식과 같은 시각적 요소가 포함된 질문에서 가장 관련성 높은 일치 항목을 더 잘 드러낼 수 있었습니다.
텍스트 기반 검색은 여전히 잘 작동합니다. 멀티모달 임베딩은 활발한 관심 분야이지만, 팀은 교육용 사용 사례에서는 현재의 이미지 임베딩 접근 방식보다 OCR 후 텍스트 임베딩을 수행하는 방식이 더 신뢰할 수 있는 결과를 제공한다는 사실을 발견했습니다.
관리형 서비스는 반복 개선을 가속화합니다. 완전 관리형 벡터 데이터베이스를 선택함으로써 팀은 인프라 운영이 아니라 핵심 제품에 엔지니어링 노력을 집중할 수 있었습니다.
앞으로 Solvely는 시맨틱 검색과 키워드 검색을 결합한 하이브리드 검색을 테스트할 계획입니다. 이는 정확한 용어가 중요한 강의 자료에 특히 유용합니다. 또한 다이어그램이 많은 과목에서 향후 직접적인 이미지-대-이미지 검색을 가능하게 할 수 있는 멀티모달 임베딩의 개선도 주시하고 있습니다.
결론
Solvely.ai가 2023년에 인공지능을 통해 교육을 민주화하겠다는 목표를 세웠을 때, 그들은 기술 인프라가 미션에 매우 중요하다는 것을 알고 있었습니다. 하지만 초기 벡터 데이터베이스 솔루션의 한계를 얼마나 빨리 넘어서게 될지는 예상하지 못했습니다. 질문 데이터베이스가 수억 개의 항목으로 폭증하고 사용자 기반이 전 세계 1,000만 명의 학생으로 확장되면서, 쿼리 지연 시간은 그들이 완성하려던 사용자 경험 자체를 위협하는 병목 현상이 되었습니다.
Zilliz Cloud로의 마이그레이션은 이들의 기술적 기반을 변화시켰습니다. 쿼리 지연 시간은 70% 감소했고, 인프라 비용은 60% 줄었으며, 무엇보다도 시스템이 선별된 데이터베이스에서 질문을 매칭했을 때 학생들은 숙제에 대한 도움을 4~5배 더 빠르게 받을 수 있었습니다. 그러나 수치 이상의 측면에서, Zilliz Cloud는 Solvely에 더 가치 있는 것을 제공했습니다. 바로 데이터베이스 운영과 씨름하는 대신 혁신적인 교육 제품을 구축하는 데 집중할 수 있는 자유였습니다.
Solvely.ai가 제품 제공 범위와 사용자 기반을 계속 확장함에 따라, Zilliz Cloud는 전 세계 수백만 명의 학생들에게 서비스를 제공하는 데 필요한 확장 가능하고 비용 효율적인 벡터 데이터베이스 기반을 제공하여 교육 평등의 비전을 현실에 더 가깝게 만듭니다.
The migration was incredibly smooth. Using the built-in tools, we were able to import our data from Pinecone with essentially one click. The technical support has also been excellent — our questions get resolved almost instantly, and the documentation, demos, and examples are thorough and easy to work with.
Technical Team