Jiang Chen: 내가 Zilliz에 합류한 이유
새로운 도전
지난 10년 동안 저는 접근 제어, 데이터 개인정보 보호, NoSQL 데이터베이스, 그리고 가장 최근에는 웹 규모 데이터 인덱싱을 포함한 데이터 인프라의 다양한 측면을 전문적으로 다뤄왔습니다. 웹과 모바일 시대에는 MapReduce, 분산 컴퓨팅, 구조화된 데이터 저장소와 같은 기술이 선도하면서 빅데이터가 중요한 인프라 혁신으로 부상했습니다. AI 시대에는 특히 Large Language Models의 인기가 높아지면서 다른 기술 스택이 필요합니다. 임베딩과 벡터 스토어가 무대의 중심에 있으며, 이는 Zilliz의 핵심 초점이기도 합니다.
Zilliz에 합류하기 직전, 제 초점은 Google의 검색 인덱싱에 있었습니다. 저는 공개 웹의 수십억 개 이미지와 동영상을 이해하고, 다양한 멀티미디어 데이터를 포괄하는 웹페이지의 구조화된 라벨을 생성하며, 이를 검색 가능한 인덱스로 변환하기 위한 매우 유연한 인프라를 구축하는 일을 했습니다. 이러한 기술은 짧은 동영상 검색과 같은 사용자 대상 제품 혁신의 토대를 마련했습니다. 그러나 텍스트, 이미지, 동영상과 같은 비정형 데이터를 이해하는 전통적인 방법은 여러 머신러닝 모델을 사용해 많은 라벨을 생성해야 했습니다. 이 과정은 ML 모델 추론, 비즈니스 로직 오케스트레이션, 검색 알고리즘을 포함하는 복잡한 인프라에 의존했으며, 이는 상당한 도전 과제를 제시했습니다.
더 나아가 검색 콘텐츠 검색도 전통적인 규칙 기반 시스템(역색인을 통해 키워드를 매칭)으로는 한계에 직면했습니다. 임베딩 기반 검색이 검색 결과 관련성을 강력하게 개선한다는 점이 분명해졌습니다. 임베딩은 검색 분야에서 새로운 것은 아니며 수년간 전통적인 웹 검색에 사용되어 왔지만, 수많은 새로운 검색 제품에 임베딩 기반 검색 또는 하이브리드 접근 방식을 도입하는 것은 Google에게도 중대한 도전 과제였습니다.
제가 Zilliz의 제품 책임자인 Robert를 처음 만났을 때, 임베딩과 벡터 검색 기술을 민주화하려는 야망에 깊은 인상을 받았습니다. 또한 이 멋진 AI 물결에 동참하고 싶은 동기도 생겼습니다.
비정형 데이터의 잠재력을 발휘하도록 개발자에게 힘을 실어주기
임베딩의 잠재력을 인식하고 있음에도 불구하고, 많은 개발자와 기업은 비정형 데이터를 벡터 임베딩으로 효과적으로 조직하기 위한 더 많은 인프라를 필요로 합니다. 그러나 현대 AI 시대에 저는 AI 네이티브 인프라가 비즈니스의 미래를 여는 열쇠라고 굳게 믿습니다. 이러한 인프라는 대규모 신경망 모델, 벡터 저장소, 그리고 이를 위해 특별히 설계된 전문 연산 시스템을 활용합니다. 전 세계적 규모에서 이러한 인프라가 운영되는 것을 관찰해 온 저는, 이 고도로 복잡한 인프라를 민주화하여 자원이 제한된 스타트업이 AI 기술을 활용하고 인류를 앞으로 나아가게 할 획기적인 애플리케이션을 만들 수 있도록 하는 데 열정을 느낍니다.
뛰어난 사람들
저는 이전에도 스타트업 세계에 있었습니다. 새로운 프로젝트를 창업하는 롤러코스터, 좋지 않은 제품-시장 적합성을 찾다가 번아웃되는 경험, 그리고 다음 라운드의 자금 조달을 찾아 나서는 일을 겪어 보았기에, 불확실한 맥락에서 복잡한 문제를 해결할 때 가장 중요한 것은 신뢰할 수 있는 훌륭한 사람들로 이루어진 팀과 함께 일하는 것임을 확실히 알고 있습니다.
Charles, Robert, 그리고 James의 뛰어난 팀을 만나자마자, 그들이 경험 많은 창업가들이며 기업가정신의 불확실성을 충분히 인식하면서도 여전히 그 길에 헌신할 의지가 있다는 것을 즉시 알 수 있었습니다. 저는 그들이 함께 일하기에 완벽한 그룹이라는 것을 알았고, 그래서 망설임 없이 이 훌륭한 팀에 합류하기로 결정했습니다.
궁극적으로 이것이 제가 Zilliz에 합류한 이유입니다. 불확실성을 헤쳐 나가기 위해서는 중요한 미션과 함께 일할 지적이고 회복탄력성 있는 사람들이 모두 필요합니다. Zilliz에는 그런 것들이 있고, 우리가 함께 추구해 나갈 더 많은 것들이 있습니다.
Zilliz에서 제가 가장 기대하는 것
지금 제가 가장 기대하는 것은 개발자들을 위해 비정형 데이터를 단순화하는, 사용성이 높고 실용적인 제품을 구축하는 도전입니다. 이는 모든 상황에 맞는 단 하나의 해법이 없는 복잡한 문제이며, 우리가 미래를 위한 로드맵을 찾아야 합니다. Zilliz에서는 옳은 일이라면 무엇이든 자유롭게 할 수 있는데, 이는 스타트업에서 일하는 보너스입니다. 이 문제를 해결하려면 탄탄한 엔지니어링 배경, 깊은 제품 인사이트, 그리고 개발자에 대한 공감이 필요합니다. 제 일상 업무는 다음과 같습니다.
세일즈 및 솔루션 아키텍트와 논의하기.
제품 세부 사항 정의하기.
기술 설계 지시하기.
코드 리뷰 제공하기.
이런 업무 방식은 제가 즐기는 것이며, 저는 매일 새로운 것을 배웁니다.
AI 인프라의 최전선에 함께하세요
여기 Zilliz에서 우리는 비정형 데이터의 정보 검색 프로세스를 쉽게 만들어 주는 도구와 서비스 모음을 구축합니다. 올인원 비정형 데이터 ETL 및 임베딩 솔루션인 Towhee, 검색 증강 생성의 오픈소스 구현체인 Akcio, 그리고 벡터 임베딩을 효율적으로 저장하고 검색하는 벡터 데이터베이스가 있습니다.
제가 여기서 설명한 내용에 관심이 있으시다면, 꼭 알려 주세요! 엔지니어링 직무에 다양한 채용 포지션이 열려 있습니다. 비정형 데이터를 효과적으로 관리하고 활용하기 위한 인프라를 구축하는 일에 흥미가 있다면, 저희와 함께 일할 기회를 놓치지 마세요. 마케팅 및 제품 직무에도 채용 포지션이 있으니, 자세한 내용은 저희 채용 페이지를 자유롭게 확인해 보세요.
계속 읽기
Zilliz Cloud On-Demand Compute: Pay Only for What You Use
The customer case behind Zilliz Cloud On-Demand: how a $10K vector search bill came down to under $500, and the engineering changes that made it possible.
Introducing Zilliz CLI and Agent Skills for Zilliz Cloud
Manage your vector database from your terminal or AI coding agent. Zilliz CLI and Agent Skills work with Claude Code, Cursor, Codex, and Copilot.
How to Use Anthropic MCP Server with Milvus
MCP + Milvus: Streamline AI agent development with standardized data access, eliminating integration hassles while enhancing context and flexibility.