TAL Education Group이 Milvus로 AI 기반 학습을 확장하는 방법
밀리초 단위의 시맨틱 검색
수십억 개의 벡터에서 즉시 검색하여 느린 퍼지 매칭을 대체합니다
더 높은 채점 정확도
개방형 및 멀티모달 학생 응답에 대한 더 정밀한 의미론적 이해
더 강력한 추천 품질
높은 재현율의 벡터 검색은 키워드 검색이 놓치는 관련 콘텐츠를 찾아냅니다
엔드투엔드 속도 향상
전체 지연 시간을 줄인 더 빠른 채점, 검색 및 추천 파이프라인
TAL Education Group 소개
TAL Education Group(NYSE: TAL)는 수백만 명의 학생과 가족에게 서비스를 제공하는 아시아의 선도적인 교육 기술 기업 중 하나입니다. 2003년에 설립되어 2010년 뉴욕증권거래소에 상장된 TAL은 Xueersi 과외 사업에서 출발해 Xueersi.com, Xueersi Smart Devices, MathGPT 및 기타 기술 중심 교육 브랜드를 포함한 광범위한 디지털 학습 제품 포트폴리오로 성장했으며, 모두 가정과 디지털 교실 환경에서 학생들을 지원하도록 설계되었습니다.
TAL이 개인 맞춤형 튜터링, 자동 채점, 콘텐츠 추천, 멀티모달 지식 검색을 아우르는 AI 기반 학습으로 더 깊이 확장하면서, 회사는 이러한 컴퓨팅 집약적 워크로드를 대규모로 지원할 수 있는 새로운 데이터 인프라가 필요했습니다. Milvus를 벡터 검색 플랫폼의 기반으로 선택함으로써 TAL은 더 빠른 채점, 더 정확한 추천, 제품 전반에 걸친 더 지능적인 의미 검색을 구동하는 데 필요한 성능, 확장성, 유연성을 확보했습니다. 이제 Milvus는 TAL의 더 큰 사명, 즉 모든 학생에게 접근 가능하고 효율적이며 효과적인 고품질의 기술 기반 학습 경험을 제공하는 데 핵심적인 역할을 하고 있습니다.
TAL의 AI 기반 학습 시스템이 직면한 과제
TAL은 자동 채점, 학습 리소스 추천, 벡터 기반 문서 검색 등 여러 핵심 교육 시나리오에 AI를 배포하고 있습니다. 그러나 이러한 서비스가 확장되면서 회사는 기존 데이터 시스템의 한계에 빠르게 도달했습니다. 현대 온라인 교육은 방대하고 복잡한 멀티모달 콘텐츠를 생성하는 반면, AI 기반 채점은 높은 처리량과 학생 답변에 대한 깊은 이해를 모두 요구합니다. 이러한 압박은 레거시 인프라로는 도저히 해결할 수 없는 구조적 문제를 드러냈습니다.
1. 멀티모달 데이터의 폭발적 증가
TAL은 이미지, 도표, 손글씨 공식을 포함한 과목, 학년 수준, 형식 전반에서 매일 수십만 개의 새로운 문제와 답안을 처리합니다. 이러한 지속적인 데이터 유입은 기존 데이터베이스가 데이터를 효율적으로 인덱싱하고 검색할 수 있는 용량을 넘어서게 합니다. TAL의 디지털 학습 플랫폼이 성장함에 따라, 백엔드는 성능이나 가용성을 저하하지 않으면서 증가하는 스토리지 수요, 고처리량 벡터 검색, 시험 및 학습 성수기 동안의 갑작스러운 트래픽 급증을 지원하기 위해 원활하게 확장되어야 합니다.
2. 채점 파이프라인의 운영 비효율성
사람이 하는 채점은 현대 온라인 학습의 규모를 따라잡을 수 없습니다. 단일 시험을 평가하는 데 교사 한 명이 15~20분이 걸릴 수 있으며, 주관식 문제는 채점자마다 일관되지 않은 점수가 나오는 경우가 많습니다. TAL의 규모에서는 이로 인해 채점 병목 현상이 발생하고, 개인 맞춤형 지도에 재배치될 수 있는 귀중한 교사 시간이 소모됩니다.
또한 TAL은 방대한 설명, 해설, 학습 자료 라이브러리를 보유하고 있지만, 이러한 자산은 여러 시스템에 흩어져 있습니다. 지능형 검색이 없으면 고품질 리소스가 충분히 활용되지 못해 콘텐츠 제작과 실제 학습자의 필요 사이에 격차가 생깁니다.
3. AI 기반 피드백을 위한 높은 정확도 요구 사항
AI 채점은 키워드 매칭을 넘어 의미를 이해해야 합니다. TAL의 시스템은 의미적 동등성을 식별하고, 다양한 표현을 해석하며, 학생들을 공정하고 일관되게 채점해야 합니다. 생성되는 모든 설명은 정확하고, 교육학적으로 타당하며, 연령에 적합해야 합니다. 이를 지원하기 위해 TAL은 각 문제를 적절한 개념과 연결하고 그 관계를 매핑하는 강력한 지식 그래프를 필요로 합니다. 기존 시스템은 이러한 수준의 의미 추론을 대규모로 지원하도록 설계되어 있지 않습니다.
Milvus로 TAL의 AI 채점 및 학습 시스템 강화
TAL이 AI 기반 채점 및 학습 서비스를 확장함에 따라, 높은 정확도와 실시간 응답성을 갖추고 대규모 임베딩 워크로드를 지원할 수 있는 벡터 인프라가 필요했습니다. 여러 솔루션을 평가한 후, TAL은 벡터 데이터 플랫폼의 핵심 엔진으로 Milvus를 선택했습니다.
TAL은 Milvus 위에 높은 데이터 품질, 애플리케이션과의 원활한 통합, 지속적인 시스템 개선을 보장하는 모듈형 아키텍처를 구축했습니다.
데이터 처리 파이프라인: 깨끗하고 일관되며 벡터에 준비된 데이터
TAL의 데이터 처리 파이프라인은 전체 시스템의 기반을 형성합니다. 문제, 답안, 학습 자료는 API, 배치 업로드, 이미지 또는 필기에서의 OCR 추출 등 여러 소스에서 수집됩니다. 수집된 모든 콘텐츠는 벡터 임베딩으로 변환되기 전에 정규화, 특징 추출, 품질 검사를 거칩니다. 이 파이프라인은 Milvus에 저장되는 모든 것이 깨끗하고 일관되며 고품질 의미 검색에 최적화되도록 보장합니다.
Milvus Vector Database: 10억 규모의 고성능 검색
TAL 아키텍처의 중심에는 10억 규모의 벡터 저장과 고성능 의미 검색을 제공하는 Milvus Vector Database가 있습니다. Milvus의 분산 아키텍처와 Approximate Nearest Neighbor (ANN) 인덱싱을 통해 TAL은 수억에서 수십억 개의 임베딩에 걸쳐서도 밀리초 단위로 유사도 쿼리를 처리할 수 있습니다. Milvus의 멀티 인덱스 전략은 TAL이 속도와 정확도의 균형을 맞추는 데 도움이 되며, MySQL은 버전 관리 및 인덱스 매핑과 같은 구조화된 메타데이터를 저장합니다. 이를 통해 벡터 데이터와 관계형 데이터가 긴밀하게 동기화됩니다.
오늘날 이 Milvus 배포는 20개 이상의 컬렉션에서 10억 개 이상의 벡터를 관리하며, 단일 클러스터가 하루 수백만 건의 검색 요청을 처리합니다.
애플리케이션 서비스: 벡터 검색을 교육적 효과로 전환
애플리케이션 서비스 계층은 Milvus의 기능을 실제 교육적 효과로 전환합니다.
AI 채점: 의미 유사도를 사용하여 학생 답안을 평가하고 설명을 생성합니다.
추천: 학생의 학습 수준과 진도에 맞춘 유사 문제를 찾습니다.
콘텐츠 중복 제거: 문제 은행의 품질을 유지하기 위해 반복적이거나 중복된 콘텐츠를 감지합니다.
각 서비스는 대규모 환경에서 빠르고 정확한 검색을 제공하는 Milvus의 능력에 의존하며, 이를 통해 학생과 교육자가 시의적절하고 개인화되며 일관된 결과를 받을 수 있도록 보장합니다.
품질 평가 프레임워크: 지속적 개선을 위한 폐쇄 루프
대규모 환경에서 신뢰성을 유지하기 위해 TAL은 시스템 전반에 걸쳐 지속적인 품질 평가 프레임워크를 구축했습니다. 각 AI 생성 채점 결과는 의미 유사도, 과거 성능, 교사 피드백을 기반으로 신뢰도 점수를 받습니다. 이러한 신호는 이상 징후를 식별하고, 채점 로직을 조정하며, 모델 파라미터를 업데이트하고, 시간이 지남에 따라 검색 품질을 개선하는 구조화된 피드백 루프로 전달됩니다.
이 폐쇄 루프 메커니즘은 사용량이 증가할수록 시스템이 더 무거운 워크로드에서 성능이 저하되는 것이 아니라 더 정확해지도록 보장합니다.
Milvus로 구현한 실제 성능 향상과 새로운 가능성
TAL은 하이브리드 클라우드 환경 전반에 Milvus를 배포한 후, 시스템 성능과 AI 기반 학습 경험의 품질에서 빠르게 큰 개선을 확인했습니다.
10억 규모의 밀리초 수준 검색
Milvus는 이제 수십억 개의 벡터를 밀리초 수준의 의미 검색으로 처리하며, 한때 AI 채점, 추천, 콘텐츠 검색을 저해했던 느린 퍼지 매칭 방식을 대체합니다. Milvus가 도입되면서 결과가 더 빠르게 반환되고, 정확도가 향상되며, 교사와 학생은 전반적으로 더 일관된 답변을 얻을 수 있습니다.
더 높은 정확도와 더 큰 안정성
Milvus의 벡터 유사도 검색은 TAL이 학생 응답을 훨씬 더 깊이 이해할 수 있게 해줍니다. 이전 시스템과 비교했을 때, Milvus는 다음을 제공합니다:
더 정확한 검색 결과, 특히 개방형 및 멀티모달 질문에서
더 높은 품질의 리콜, 키워드 검색으로는 매칭할 수 없는 관련 콘텐츠 노출
10억 규모에서도 안정적인 성능, 시험 성수기에도 유지
더 빠른 엔드투엔드 처리, 채점 및 추천의 지연 시간 감소
이러한 발전은 시스템 효율성뿐만 아니라 교육 품질까지 향상시켜, AI가 학생의 의도를 더 잘 이해하고 더 높은 교육적 관련성을 갖고 응답할 수 있게 합니다.
생태계 전반에서 새로운 AI 역량 실현
기존 프로세스를 가속화하는 것을 넘어, Milvus는 TAL의 학습 플랫폼 전반에서 새로운 기능의 물결을 가능하게 했습니다:
AI 채점: 더 정밀한 의미 기반 매칭으로 채점 일관성과 설명 품질이 향상됩니다.
내부 IM 플랫폼: 더 빠르고 관련성 높은 문서 검색으로 협업과 콘텐츠 재사용이 향상됩니다.
지식 베이스 QA: 정확한 청크 수준의 리콜을 통해 키워드 검색으로는 결코 찾아낼 수 없었던 답변을 제공합니다.
교육의 공정성과 효율성 향상
Milvus의 개선은 교실에서 실질적인 성과로 이어집니다. 더 빠르고 신뢰할 수 있는 AI 채점은 교사의 업무 부담을 줄이고 대규모 학생 그룹에 대해 더 일관된 채점을 가능하게 합니다. 더 나은 의미 기반 검색은 고품질 학습 리소스를 더 쉽게 찾고 재사용할 수 있게 합니다. 이러한 개선은 TAL이 모든 학생에게 더 개인화되고 공평한 지원을 제공하는 데 도움이 됩니다.
더 강력한 운영 효율성과 관측 가능성
엔지니어링 팀에게 Milvus는 일상적인 운영도 단순화합니다. Milvus의 공식 관리 도구인 Attu 웹 콘솔은 벡터 검사와 컬렉션 관리를 더 직관적으로 만들어 운영 오버헤드를 줄입니다. 동시에 Prometheus + Alertmanager와의 통합은 지연 시간, 노드 상태, 스토리지 사용률, 오류 패턴에 대한 깊은 가시성을 제공합니다. 이러한 관측 가능성은 트래픽 급증과 대규모 시험 주기에도 TAL이 안정적이고 예측 가능한 서비스를 유지하는 데 도움이 됩니다.
다음 단계: Milvus 및 커뮤니티와 함께 성장하기
Milvus가 여러 팀에 확고히 자리 잡으면서, TAL은 이제 벡터 검색이 더 많은 AI 이니셔티브를 어떻게 지원할 수 있을지 내다보고 있습니다. Milvus를 10억 규모로 운영하면서 TAL 엔지니어들은 무엇이 잘 작동하는지, 그리고 어떤 새로운 개선이 더 큰 영향을 만들 수 있는지 명확히 파악하게 되었습니다.
TAL은 Milvus 커뮤니티에서 계속 활발히 활동할 계획입니다—실제 프로덕션 인사이트를 공유하고, 새로운 기능에 대한 피드백을 제공하며, 기여자들과 긴밀히 협력해 차세대 벡터 데이터베이스 역량을 형성해 나갈 것입니다. 더 단순한 크로스 클러스터 데이터 마이그레이션과 지속적인 성능 튜닝 같은 개선은 TAL이 더 많은 제품에 Milvus를 도입하는 것을 더욱 쉽게 만들어 줄 것입니다.
핵심 서비스를 원활하게 운영하기 위해, TAL은 오픈소스 Milvus 배포와 함께 완전 관리형 Milvus 서비스인 Zilliz Cloud도 운영하고 있습니다. 이 듀얼 액티브 구성은 업그레이드나 트래픽이 많은 기간 동안 팀에 추가적인 안정성을 제공하며, 학생과 교사가 항상 안정적인 학습 경험을 누릴 수 있도록 보장합니다.
TAL이 교육을 위한 더 지능적이고 확장 가능한 AI 도구를 계속 구축해 나가는 가운데, Milvus는 회사의 기술 스택에서 핵심적인 부분으로 남아—수백만 가정에 더 빠르고, 더 스마트하며, 더 신뢰할 수 있는 학습 솔루션을 제공하는 데 기여할 것입니다.
참고: 이 사례 연구는 TAL Education Group의 시니어 데이터 사이언티스트인 Zhiming Huang과 Muzi Lee가 작성했으며, 허가를 받아 번역, 편집 및 재게시되었습니다.