Tim Spann: 제가 Zilliz에 합류한 이유
소개
제 이름은 Tim Spann이며, 저는 Zilliz에서 놀라운 오픈 소스 프로젝트인 Milvus를 위한 개발자 애드보커시 업무를 하고 있습니다. 오픈 소스와 개발자, 엔지니어, 멋진 프로젝트를 돕는 일은 Hadoop, Spark, Kafka, NiFi, Flink, Iceberg, Kudu, HBase, Hive, Spring 같은 것들을 다루며 여러 해 동안 이어 온 제 열정이었습니다.
제 Medium 게시물: https://medium.com/@tspann
제 YouTube 채널: https://www.youtube.com/@FLaNK-Stack
새로운 도전
지난 2년 동안 저는 스트리밍과 AI의 교차점에서 일해 왔고, 바로 이곳에서 필요한 어떤 모드로든 모든 유형의 데이터를 저장하고 쿼리할 수 있는 AI용 데이터베이스의 중요성을 처음 보았습니다.
저는 생성형 AI와 함께 일해 왔지만, 미래가 향하는 곳이자 새로운 데이터 처리가 일어나고 있는 곳에 있어야 했습니다. 비정형 데이터 처리는 이제 필요하며, 저는 이를 널리 알려야 합니다. 바로 이곳입니다. Milvus, Towhee, Attu, 그리고 Kafka와의 통합 및 멋진 모든 LlamaX 프레임워크를 통해 이를 해낼 수 있습니다. 우리는 전 세계적인 비정형 데이터 엔지니어와 데이터 슈퍼스타 그룹을 구축해야 합니다. 저는 이 가속화된 여정을 계속하게 되어 정말 기쁩니다. 저는 거의 10년 동안 머신 러닝, 자연어 처리, 엣지 AI에 관심을 가져 왔습니다.
- https://community.cloudera.com/t5/Community-Articles/Using-Sentiment-Analysis-and-NLP-Tools-With-HDP-2-x-and-HDF/ta-p/249102
- https://community.cloudera.com/t5/Community-Articles/Open-NLP-Example-Apache-NiFi-Processor/ta-p/249293
- https://community.cloudera.com/t5/Community-Articles/Creating-HTML-from-PDF-Excel-and-Word-Documents-using-Apache/ta-p/247968
벡터 데이터베이스 그 이상
Milvus 자체만으로도 강력한 데이터 저장소이며 Zilliz에서 일하고 싶게 만드는 이유입니다. 이것은 다음 생성형 AI 기반 데이터 혁명을 위한 새로운 패러다임 전환의 시작일 뿐입니다. 비정형 데이터 처리와 Vector ETL을 수행할 수 있는 강력하고 빠른 방법에 대한 필요성은 이미 분명하며 계속 커지고 있습니다. 향후 몇 년 안에, 구조화 및 반구조화 데이터를 위해 Spark, Flink, Kafka가 그랬던 것처럼 비정형 데이터 엔지니어링과 처리의 부상을 보게 될 것입니다.
로그, 이메일, 문서, slack 메시지, 사진, 이미지, 동영상, 오디오 파일, 그리고 더 많은 바이너리 형식을 로드해야 할 필요성은 산업을 변화시킬 것입니다. 제가 Big Data를 시작했을 때, 우리는 많은 JSON, CSV, XML, 관계형 테이블, 구조화 데이터를 이동해야 했습니다. 우리는 여전히 그런 파일들을 가지고 있고 그것들을 스트리밍하고 있지만, 유사도 검색에 사용할 수 있고 빠른 접근을 위해 벡터화된 데이터가 필요합니다.
우리는 SQL 문을 작성하는 만큼 많은 프롬프트를 만들게 될 것입니다. 이러한 데이터 형식 중 상당수는 동일한 애플리케이션에 사용되어야 할 것입니다. 벡터와 함께 JSON 메타데이터를 추가하여 추가적인 유형의 검색을 수행할 수 있으며, 특히 라이브 사용 사례를 위해 모델과 프롬프트가 데이터의 연합된 뷰를 요구함에 따라 비정형 데이터와 구조화 데이터 사이의 경계는 흐려집니다.
저는 이미 대중교통 애플리케이션에서 이를 보았으며, 이는 IoT와 사기 분석을 포함한 모든 엔터프라이즈 애플리케이션으로 확산될 것입니다.
미래에는 훨씬 더 많은 데이터, 비정형 데이터 처리에 대한 거대한 필요성, 새로운 데이터를 처리할 수 있는 확장 가능한 오픈 소스 AI 데이터베이스, 그리고 끊임없이 증가하는 다양한 AI 모델이 있습니다.
팀이 필요합니다
저는 이전에 여러 동료들과 협업할 수 있었던 것이 매우 행운이었고, 그들과 함께 일하기를 간절히 원했습니다. 또한 합류하기 전에 대화했던 모든 사람들에게 엄청나게 깊은 인상을 받았습니다. 이 팀은 혁신적인 기술을 주류로 가져오는 데 필요한 것이 무엇인지에 대해 깊은 배경을 가진, 믿을 수 없을 만큼 숙련되고 지적인 팀입니다. 미래는 지금 시작됩니다. 함께 뛰어들어 봅시다.
커뮤니티
뉴욕시 지역에서 밋업 및 기타 이벤트에 저와 함께하세요.
저는 또한 프린스턴의 많은 AI 이벤트를 지원하고 있으며 StartupGrind Princeton and Trenton, Applied Generative AI 및 NJ GAI Meetup과 함께 일하고 있습니다.
계속 읽기
Zilliz Cloud Just Landed in Claude Code
The Zilliz Cloud Plugin brings the full power of Zilliz Cloud directly into your Claude Code terminal as natural-language conversations.
DeepSeek-OCR Explained: Optical Compression for Scalable Long-Context and RAG Systems
Discover how DeepSeek-OCR uses visual tokens and Contexts Optical Compression to boost long-context LLM efficiency and reshape RAG performance.
Zilliz Cloud Delivers Better Performance and Lower Costs with Arm Neoverse-based AWS Graviton
Zilliz Cloud adopts Arm-based AWS Graviton3 CPUs to cut costs, speed up AI vector search, and power billion-scale RAG and semantic search workloads.