커리어 탐색의 재정의: Jobright가 LinkedIn을 넘어 더 빠르고 스마트한 인재 매칭을 제공하기 위해 Zilliz Cloud를 활용하는 방법
<50ms
지연 시간
무중단
더 빠른 기능 배포로
번거로움 제로
데이터베이스 관리를 위해
비용 절감
사용자당
Choosing Zilliz Cloud was one of our best early decisions. It enabled us to build the product we envisioned rather than the product our infrastructure limitations would allow. In AI applications, that difference often determines success or failure.
Ethan Zheng
Jobright 소개: AI 시대의 구직을 재정의하다
Jobright는 LinkedIn과 Indeed 같은 업계 기존 강자들을 상대로 빠르게 입지를 넓혀 온 AI 네이티브 구직 플랫폼입니다. 출시한 지 2년 조금 넘은 기간 만에 일일 활성 사용자 수가 거의 100,000명에 도달했으며, SimilarWeb에 따르면 현재 평균 사용자 세션 시간에서 업계를 선도하고 있습니다.
Big Tech 직무를 떠나 고장 난 발견 문제라고 보았던 것을 해결하고자 한 엔지니어 Eric Cheng과 Ethan Zheng이 구축한 Jobright는 시맨틱 검색, 그래프 분석, 실시간 시스템 피드백을 통해 더 스마트하고 개인화된 채용 매칭을 제공합니다. H-1B 스폰서십 필터링과 추천인 발견 같은 플랫폼의 두드러진 기능들은 특히 국제 전문 인력과 숙련된 기술 인재에게 큰 가치를 제공해 왔습니다.
왜 전통적인 검색은 하루 200만 건의 쿼리에서 한계에 부딪혔는가
Jobright가 주목을 받으면서 기술적 요구 사항도 급격히 증가했습니다. 플랫폼의 핵심 가치인 실시간 개인화 채용 매칭은 곧 전통적인 데이터베이스의 한계를 드러냈습니다.
끊임없이 변하는 데이터: 채용 공고는 끊임없이 변합니다. 매일 400,000건이 넘는 공고가 추가되거나 삭제됩니다. 대부분의 데이터베이스는 성능 문제 없이 그 속도로 데이터를 수집하고 삭제할 수 없습니다.
시맨틱, 다차원 매칭: Jobright는 단순히 키워드만 매칭하지 않습니다. 채용 설명, 기술, 경력 경로, 기업 문화를 가로질러 검색합니다. 모든 사용자 상호작용에는 여러 차례의 벡터 검색과 함께 위치, 비자 상태, 경력 수준 등에 대한 필터링이 포함됩니다.
대규모 실시간 응답: 사용자는 하루 평균 40회가 넘는 상호작용을 합니다. 이는 하루 200만 건이 넘는 쿼리로 이어지며, 모두 100ms 미만의 결과 반환이 기대됩니다.
예측 불가능한 부하 패턴: 주요 고용주의 대규모 채용이나 해고는 데이터 수집과 쿼리 급증을 일으킵니다. 인프라는 성능을 저하시키지 않고 이러한 급증을 흡수해야 했습니다.
"이건 밤새 배치 처리할 수 있는 일반적인 추천 시스템과는 다릅니다,"라고 Jobright의 공동 창업자이자 CTO인 Ethan은 설명합니다. "사용자들은 최신 채용 공고와 변화하는 선호도를 반영한 즉각적인 결과를 기대합니다. 인프라는 대규모 확장성과 실시간 응답성을 동시에 처리해야 합니다."
Jobright가 벡터 데이터베이스 시장을 벤치마킹한 방법
Jobright의 단순한 Python 기반 매칭 시스템이 부하를 견디지 못하기 시작하자, 팀은 중요한 인프라 결정을 내려야 했습니다. 급하게 임시방편을 선택하는 대신, Ethan은 FAISS, Pinecone, Elasticsearch, 오픈소스 Milvus, Zilliz Cloud를 포함한 시장의 모든 주요 벡터 데이터베이스 옵션을 체계적으로 평가하는 데 꼬박 일주일을 썼습니다. 그의 접근 방식은 체계적이고 실전적이었습니다. "우리는 문서만 읽거나 벤더의 설명만 듣지 않습니다. 각 솔루션으로 실제 MVP를 구축하고 우리의 특정 환경에서 엄격하게 테스트합니다."
각 옵션은 중요한 한계를 드러냈습니다.
Facebook FAISS는 Meta 규모에서 검증된 성능을 고려할 때 처음에는 유망해 보였습니다. 그러나 Jobright가 벡터를 지속적으로 삽입하고 삭제하면서 동시 쿼리를 처리하려고 하자, 이 Python 구현은 불안정해졌고 피크 사용 시간대에 메모리 급증과 크래시가 발생했습니다.
Pinecone은 관리형 솔루션을 제공했지만, 지역적 제한으로 인해 글로벌 AWS 기반 인프라에 허용할 수 없는 지연 시간이 발생했습니다. "우리는 전 세계 사용자에게 서비스를 제공하는 글로벌 플랫폼입니다. 벡터 데이터베이스가 특정 지역에만 있었다면 국제 사용자 경험이 크게 훼손되었을 것입니다,"라고 Ethan은 말했습니다.
Self-hosted Milvus는 동시 워크로드에서 우수한 성능을 보였고 확장성을 입증했지만, 자체 관리를 위해 상당한 운영 오버헤드가 필요했습니다. 이는 제품 개발에 투입되어야 할 핵심 엔지니어링 리소스를 분산시켰을 것입니다.
Elasticsearch는 기본 작업에는 안정적이지만, 비자 스폰서십, 경력 수준, 회사 규모와 같은 Jobright의 수십 가지 필터 차원과 벡터 유사도를 효율적으로 결합할 수 없습니다.
그런 다음 Ethan은 Zilliz Cloud를 테스트했습니다. 차이는 몇 시간 만에 분명해졌습니다. 다른 솔루션들은 지속적인 튜닝과 모니터링이 필요했던 반면, Zilliz Cloud는 Jobright의 까다로운 워크로드를 매끄럽게 처리했습니다. 다른 솔루션들을 다운시켰던 가장 어려운 시나리오, 즉 동시 데이터 수집 파동과 쿼리 급증 상황에서도 일관된 성능을 유지했습니다. 무엇보다도 Zilliz Cloud는 여러 벡터 검색과 그래프 유사 관계 분석을 결합한 쿼리를 통해 회사 내 잠재적 추천인을 찾는 것과 같은 정교한 기능을 가능하게 했습니다. 이러한 기능은 이전에는 다른 플랫폼으로는 불가능했습니다.
자체 호스팅 솔루션과 달리, Zilliz Cloud는 데이터베이스 관리 오버헤드가 필요 없어 팀이 제품 개발에 온전히 집중할 수 있게 했습니다. 이 플랫폼의 동적 스키마 지원을 통해 Jobright는 매칭 알고리즘을 실시간으로 실험하고, 시스템 안정성을 걱정하지 않고 업무 시간 중에도 개선 사항을 배포할 수 있습니다.
실시간 매칭에서 벡터 인프라의 역할
Jobright는 현재 6~7개의 전문화된 Zilliz Cloud 인스턴스를 사용하며, 각 인스턴스는 특정 유형의 쿼리에 최적화되어 있습니다:
핵심 채용 매칭 엔진: 유사도, 위치, 경력, 비자 상태 등을 고려하여 사용자 프로필을 수백만 개의 공고와 매칭합니다.
추천인 발견: 관계 인식 벡터 쿼리를 사용하여 학력, 이전 고용주, 연결 관계를 기반으로 잠재적 추천인을 찾습니다.
회사 인사이트: 회사 프로필을 인덱싱하여 정성적 인사이트(예: 문화 적합도, 채용 패턴)를 드러냅니다.
커리어 궤적 모델링: 진화하는 기술과 시간 가중 임베딩 벡터를 기반으로 역할을 추천합니다.
이 모든 콘텐츠가 Zilliz Cloud에 수집, 인덱싱, 검색되기 전에, 모든 데이터는 Jobright의 전문화된 파인튜닝 모델을 사용해 고차원 벡터 임베딩으로 인코딩됩니다. 팀은 시스템 전반에서 특정 콘텐츠 유형에 최적화된 다양한 임베딩 모델을 사용합니다. 채용 설명에는 전문 언어로 학습된 모델을 활용하고, 회사 문화 설명에는 조직 특성과 가치에 최적화된 모델을 사용합니다.
Jobright의 매칭 알고리즘이 사용자 피드백을 기반으로 발전함에 따라, 팀은 새로운 벡터 차원을 자주 추가하고 필터링 기준을 수정합니다. Zilliz Cloud의 유연한 스키마 지원은 시스템 다운타임 없이 이러한 변경을 가능하게 하며, 팀이 업무 시간 중에도 알고리즘 개선 사항을 배포할 수 있게 합니다. 이는 경쟁 우위를 유지하는 데 매우 가치 있는 역량으로 입증되었습니다.
이 플랫폼은 확장성과 안정성을 위해 설계된 포괄적인 기술 스택과 Zilliz Cloud를 통합합니다. 트래픽 급증을 처리하기 위해 auto-scaling groups와 load balancers를 갖춘 AWS 기반으로 구축되었으며, Zilliz Cloud 인스턴스는 고가용성을 위해 availability zones 전반에 분산되어 있습니다. 여러 job board API, 회사 웹사이트, H-1B 데이터를 위한 정부 데이터베이스, 전문 네트워크와의 통합을 통해 포괄적이고 최신 상태의 채용 공고가 벡터 데이터베이스 인프라로 매끄럽게 유입되도록 보장합니다.
Jobright는 또한 Zilliz Cloud의 고급 기능을 활용하여, 이전에는 불가능했던 방식으로 여러 유형의 유사도와 필터링을 결합하는 정교한 검색 시나리오를 가능하게 합니다. "샌프란시스코에서 50마일 이내에 있으며 비자 스폰서십을 제공하는 스타트업의 머신러닝 직무"와 같은 복잡한 쿼리는 의미 기반 벡터 검색을 범주형 필터 및 지리적 제약 조건과 단일 작업으로 결합합니다. 적합한 추천인을 찾으려면 교육 배경 임베딩, 업무 경험 벡터, 회사 관계 매핑 등 여러 벡터 공간을 동시에 검색해야 합니다. 커리어 성장 추천은 사용자 기술과 관심사가 시간이 지남에 따라 어떻게 발전하는지를 고려하며, 시간 가중 벡터 연산을 사용해 적합한 다음 커리어 이동을 예측합니다.
500ms 타임아웃에서 즉각적인 검색으로—그리고 관리 부담은 제로
Zilliz Cloud로의 전환은 모든 핵심 지표에서 즉각적이고 지속적인 개선을 가져왔으며, Jobright를 어려움을 겪던 스타트업에서 업계를 선도하는 플레이어로 탈바꿈시켰습니다.
500ms 타임아웃에서 50ms의 일관성으로
쿼리 응답 시간은 빈번한 타임아웃을 동반하던 불안정한 200~500ms에서 핵심 매칭 작업의 P95 지연 시간이 50ms 미만인 일관된 100ms 미만 성능으로 크게 개선되었습니다. 이 시스템은 배포 후 99.9% 이상의 가동 시간을 달성하여, 이전 인프라를 괴롭히던 잦은 장애와 성능 저하를 없앴습니다. 플랫폼은 인프라 변경이나 성능 저하 없이 일일 수천 건의 쿼리를 처리하던 수준에서 매일 200만 건 이상의 사용자 상호작용을 처리하는 수준으로 원활하게 확장되었습니다.
데이터베이스 관리 오버헤드 제로
"우리는 약 1년 동안 이 시스템을 전혀 관리할 필요가 없었습니다. 그리고 저는 문자 그대로 우리가 이걸 사용하고 있다는 사실을 잊고 있었습니다,"라고 Ethan은 말합니다. "그것이 제가 인프라에 줄 수 있는 최고의 찬사입니다—그 존재를 의식하지 않게 되면, 완벽하게 작동하고 있다는 뜻이니까요."
이러한 운영상의 단순성 덕분에 소규모 엔지니어링 팀은 데이터베이스 관리가 아니라 제품 혁신에 온전히 집중할 수 있었고, 개발 속도를 크게 높일 수 있었습니다.
사용자 참여도에서 LinkedIn과 Indeed를 앞서다
이러한 인프라 개선은 곧바로 더 뛰어난 사용자 경험과 업계 최고 수준의 참여 지표로 이어졌습니다. SimilarWeb 분석에 따르면, Jobright는 현재 모든 구직 플랫폼 중 가장 높은 평균 사용자 방문 시간을 기록하고 있으며, LinkedIn, Indeed 및 다른 모든 경쟁사를 앞서고 있습니다. 일일 활성 사용자는 첫해 10명에서 거의 100,000명으로 급증했으며, 사용자는 세션당 평균 40회 이상의 플랫폼 상호작용을 기록하고 있습니다—이는 업계 벤치마크보다 상당히 높은 수치입니다. 추천인 발견 및 AI 기반 지원서 작성 지원과 같은 고급 기능은 안정적으로 작동하고 결과를 빠르게 제공하기 때문에 높은 도입률을 달성하고 있습니다.
다운타임 없는 더 빠른 기능 배포
신뢰할 수 있는 인프라는 Jobright가 빠른 기능 개발을 통해 경쟁 우위를 유지할 수 있게 했습니다. 이제 팀은 업데이트나 트래픽 급증 중에도 기반 인프라가 중단되지 않을 것이라는 확신을 가지고 매주 새로운 기능을 출시합니다. 사용자가 일관되고 빠른 성능과 지속적으로 진화하는 알고리즘이 제공하는 점점 더 정확한 채용 추천을 경험하면서 월간 유지율도 크게 개선되었습니다.
사용자당 비용이 감소하는 예측 가능한 비용 구조
비용상의 이점도 마찬가지로 혁신적이었습니다. Jobright는 실패하는 인프라를 관리하는 데 따르는 예측 불가능한 비용에서 벗어나, 비즈니스 성장에 맞춰 확장되는 예측 가능한 사용량 기반 가격 체계로 전환했습니다. 데이터베이스 관리 오버헤드는 완전히 제거되었고, 플랫폼이 성장함에 따라 사용자당 인프라 비용은 감소하여 지속 가능한 사업 확장을 뒷받침하는 유리한 단위 경제성을 만들어냈습니다.
앞으로의 방향: 비전 확장하기
Jobright의 비전은 구직을 훨씬 넘어, 고용주와 후보자를 그 어느 때보다 더 효율적으로 연결하는 종합 인재 마켓플레이스가 되는 것입니다. 고급 분석 기능은 후보자 매칭을 구동하는 동일한 벡터 인프라를 활용하여 기업이 인재 시장의 역학, 경쟁 포지셔닝, 최적의 채용 전략을 이해할 수 있도록 합니다. 자동화된 역량 검증 및 평가 도구는 벡터 유사도를 사용해 직무 요구사항 대비 후보자의 역량을 평가하며, 플랫폼의 포괄적인 데이터에서 도출된 실시간 노동 시장 인사이트는 인력 동향을 이해하고자 하는 고용주와 정책 입안자에게 가치 있는 인텔리전스가 될 것입니다.
Jobright는 또한 유럽 및 아시아 시장으로의 확장을 계획하고 있으며, Zilliz Cloud의 글로벌 인프라는 여러 대륙에 걸쳐 낮은 지연 시간의 서비스 제공을 가능하게 합니다. 유연한 임베딩 인프라는 시장별 모델 배포를 지원하여, Jobright가 대규모 시스템 개편 없이도 현지 채용 관행, 역량 요구사항, 커리어 진행 방식에 적응할 수 있도록 합니다.
"우리는 고용주를 위한 B2B 서비스를 추가하는 동시에 국제 확장을 계획하고 있습니다," Ethan은 설명합니다. "핵심 시스템을 다시 구축하지 않고도 여러 시장, 언어, 규제 요건을 처리할 수 있는 인프라가 필요합니다."
AI 빌더를 위한 교훈
Jobright가 일일 사용자 10명에서 100,000명으로 놀라운 성장을 이룬 과정은 유사한 과제를 헤쳐 나가는 AI 창업가들에게 귀중한 인사이트를 제공합니다. Ethan은 그들의 여정에서 얻은 몇 가지 관찰을 아낌없이 공유했습니다:
사용자와의 근접성은 기술의 정교함보다 더 중요합니다. 사용자의 실제 문제를 이해하지 못한다면 세계 최고의 AI도 도움이 되지 않습니다. Jobright가 성공한 이유는 주간 사용자 인터뷰와 피드백 루프를 통해 구직자들의 실제 경험을 이해하는 데 누구보다 더 많이 투자했기 때문입니다.
창업자는 예상보다 더 오래 직접 관여해야 합니다. 초기에 전문가를 고용하고 싶은 유혹은 크지만, 성급한 위임은 종종 실패로 이어집니다. 창업자는 성장 마케팅과 사용자 리서치 같은 핵심 역량을 효과적으로 위임하기 전에 먼저 스스로 숙달해야 합니다.
의사결정의 속도보다 의사결정의 빈도가 더 중요합니다. 빠르게 전개되는 AI 발전 상황을 파악하는 것은 중요하지만, 전략적 방향 전환을 너무 자주 하면 팀의 추진력이 무너지고 사용자 신뢰가 약화될 수 있습니다.
인프라 선택은 시간이 지날수록 복리처럼 누적됩니다. 작은 기술적 결정이 규모가 커졌을 때 상당한 경쟁 우위를 만들어냅니다. 올바른 인프라는 당장의 문제를 해결하는 데 그치지 않고 혁신을 가능하게 합니다.
"처음 Zilliz Cloud를 선택했을 때, 우리는 확장성 문제를 해결하고 있다고 생각했습니다," Ethan은 회상합니다. "하지만 실제로는 혁신 문제를 해결한 것이었습니다. 신뢰할 수 있고 강력한 벡터 검색 인프라가 있으면 그렇지 않았다면 시도조차 할 수 없었을 매칭 알고리즘을 실험할 수 있습니다."
Ethan은 많은 AI 스타트업이 정교한 인프라를 관리하는 데 드는 운영 오버헤드를 과소평가한다고 강조합니다. 실제로 인프라의 신뢰성은 개발 속도에 직접적인 영향을 미칩니다—신뢰할 수 없는 시스템은 새로운 기능을 출시하는 데 대한 자신감을 낮추는 동시에 기능 개발 속도를 늦춥니다.
모두가 유사한 AI 모델에 접근할 수 있는 시장에서는, 뛰어난 사용자 경험과 더 빠른 혁신 주기를 가능하게 하는 인프라 결정에서 경쟁 우위가 점점 더 비롯됩니다. __
"우리의 가장 강력한 경쟁 해자는 AI 모델이 아니라, 탁월한 사용자 경험과 함께 그 모델들을 대규모로 배포할 수 있는 능력입니다," Ethan은 결론짓습니다. "Zilliz Cloud가 우리에게 그 능력을 제공했습니다."
결론: 확장 가능한 인프라로 차세대 AI 애플리케이션 구동하기
Jobright와 Zilliz Cloud의 파트너십은 엔터프라이즈급 인프라가 획기적인 AI 애플리케이션 개발을 어떻게 가능하게 하는지 보여줍니다. Jobright는 사용자를 이해하고 뛰어난 제품 경험을 구축하는 데 집중했으며, Zilliz Cloud는 이러한 경험을 대규모로 가능하게 한 안정적이고 확장 가능한 기반을 제공했습니다.
AI 애플리케이션이 점점 더 정교해짐에 따라 인프라 계층은 성공에 더욱 중요해지고 있습니다. 벡터 데이터베이스는 단순한 기술적 요구 사항이 아니라, AI 기반 제품에서 무엇이 가능한지를 결정하는 혁신 플랫폼입니다.
"Jobright의 놀라운 성장을 지원하게 되어 자랑스럽습니다."라고 Zilliz의 엔지니어링 VP인 James Luan은 말합니다. "그들의 플랫폼은 혁신적인 AI 알고리즘이 엔터프라이즈급 인프라와 만났을 때 무엇이 가능한지를 보여줍니다."
Jobright에게 1년 전에 내린 인프라 선택은 다음 성장 단계를 준비하는 지금도 계속해서 성과를 내고 있습니다.
"Zilliz Cloud를 선택한 것은 초기 최고의 결정 중 하나였습니다."라고 Ethan은 결론짓습니다. "이를 통해 우리는 인프라의 한계가 허용하는 제품이 아니라, 우리가 구상했던 제품을 구축할 수 있었습니다. AI 애플리케이션에서는 그 차이가 종종 성공과 실패를 가릅니다."
Our strongest competitive moat isn't our AI models—it's our ability to deploy those models at scale with an exceptional user experience. Zilliz Cloud gave us that capability.
Ethan Zheng