Milvus 기반 DNA 서열 분류
작성자: Mengjia Gu는 Zilliz의 데이터 엔지니어로, McGill University에서 Information Studies 석사 학위를 취득했습니다. 그녀의 관심 분야는 AI 애플리케이션과 벡터 데이터베이스를 활용한 유사도 검색입니다. 오픈 소스 프로젝트 Milvus의 커뮤니티 멤버로서, 추천 시스템과 DNA 서열 분류 모델 등 다양한 솔루션을 제공하고 개선해 왔습니다. 그녀는 도전을 즐기며 절대 포기하지 않습니다!
소개
DNA 서열은 유전자 추적성, 종 식별, 질병 진단과 같은 학술 연구와 실제 애플리케이션 모두에서 널리 알려진 개념입니다. 모든 산업이 더 지능적이고 효율적인 연구 방법을 갈망하는 가운데, 인공지능은 특히 생물학 및 의학 분야에서 많은 주목을 받고 있습니다. 점점 더 많은 과학자와 연구자들이 생물정보학에서 머신러닝과 딥러닝에 기여하고 있습니다. 실험 결과를 더 설득력 있게 만들기 위한 일반적인 선택지 중 하나는 표본 크기를 늘리는 것입니다. 유전체학에서 빅데이터와의 협업 또한 실제 사용 사례의 더 많은 가능성을 가져옵니다. 그러나 전통적인 서열 정렬에는 한계가 있으며, 이는 대규모 데이터에 부적합하게 만듭니다. 현실에서 절충을 줄이기 위해, 벡터화는 대규모 DNA 서열 데이터셋에 좋은 선택입니다.
오픈 소스 벡터 데이터베이스 Milvus는 대용량 데이터에 친화적입니다. 핵산 서열의 벡터를 저장하고 고효율 검색을 수행할 수 있습니다. 또한 생산 또는 연구 비용을 줄이는 데 도움이 될 수 있습니다. Milvus 기반 DNA 서열 분류 시스템은 유전자 분류를 수행하는 데 밀리초밖에 걸리지 않습니다. 게다가 머신러닝의 다른 일반적인 분류기보다 더 높은 정확도를 보여줍니다.
데이터 처리
유전 정보를 인코딩하는 유전자는 4개의 뉴클레오타이드 염기 [A, C, G, T]로 구성된 DNA 서열의 작은 구간으로 이루어져 있습니다. 인간 게놈에는 약 30,000개의 유전자가 있으며, 거의 30억 개의 DNA 염기쌍이 있고, 각 염기쌍에는 2개의 대응 염기가 있습니다. 다양한 용도를 지원하기 위해 DNA 서열은 여러 범주로 분류될 수 있습니다. 긴 DNA 서열 데이터의 비용을 줄이고 더 쉽게 활용하기 위해, k-mer 가 데이터 전처리에 도입됩니다. 동시에 이는 DNA 서열 데이터를 일반 텍스트와 더 유사하게 만듭니다. 또한 벡터화된 데이터는 데이터 분석이나 머신러닝에서 계산 속도를 높일 수 있습니다.
그림 1.
k-mer
k-mer 방법은 DNA 서열 전처리에 일반적으로 사용됩니다. 원본 서열의 각 염기에서 시작하는 길이 k의 작은 구간을 추출하여, 길이 s의 긴 서열을 길이 k의 짧은 서열 (s-k+1)개로 변환합니다. k 값을 조정하면 모델 성능이 향상됩니다. 짧은 서열 목록은 데이터 읽기, 특징 추출, 벡터화에 더 용이합니다.
벡터화
DNA 서열은 텍스트 형태로 벡터화됩니다. k-mer로 변환된 서열은 짧은 서열의 목록이 되며, 이는 문장 속 개별 단어 목록처럼 보입니다. 따라서 대부분의 자연어 처리 모델은 DNA 서열 데이터에도 잘 작동할 것입니다. 유사한 방법론을 모델 학습, 특징 추출, 인코딩에 적용할 수 있습니다. 각 모델에는 고유한 장점과 단점이 있으므로, 모델 선택은 데이터의 특징과 연구 목적에 따라 달라집니다. 예를 들어, bag-of-words 모델인 CountVectorizer는 직관적인 토큰화를 통해 특징 추출을 구현합니다. 데이터 길이에 제한을 두지 않지만, 반환되는 결과는 유사도 비교 측면에서 덜 명확합니다.
Milvus 데모
Milvus는 비정형 데이터를 쉽게 관리할 수 있으며, 평균 밀리초 단위의 지연 시간 내에 수조 개의 벡터 중에서 가장 유사한 결과를 검색할 수 있습니다. Milvus의 유사도 검색은 Approximate Nearest Neighbor (ANN) 검색 알고리즘을 기반으로 합니다. 이러한 장점 덕분에 Milvus는 DNA 서열 벡터를 관리하기에 훌륭한 선택지가 되며, 이를 통해 생물정보학의 발전과 응용을 촉진할 수 있습니다.
다음은 Milvus로 DNA 서열 분류 시스템을 구축하는 방법을 보여주는 데모입니다. 실험 데이터셋 에는 3개의 생물체와 7개의 유전자 패밀리가 포함되어 있습니다. 모든 데이터는 k-mers를 통해 짧은 서열 목록으로 변환됩니다. 그런 다음 사전 학습된 CountVectorizer 모델을 사용해 시스템은 서열 데이터를 벡터로 인코딩합니다. 아래 흐름도는 시스템 구조와 삽입 및 검색 프로세스를 나타냅니다.
그림 2.
Milvus bootcamp에서 이 데모를 체험해 보세요.
Milvus에서 시스템은 컬렉션을 생성하고 DNA 서열에 해당하는 벡터를 컬렉션(또는 활성화된 경우 파티션)에 삽입합니다. 쿼리 요청을 받으면 Milvus는 입력 DNA 서열의 벡터와 데이터베이스에서 가장 유사한 결과 사이의 거리를 반환합니다. 입력 서열의 클래스와 DNA 서열 간 유사도는 결과의 벡터 거리로 판단할 수 있습니다.
# Insert vectors to Milvus collection (partition "human")
DNA_human = collection.insert([human_ids, human_vectors], partition_name='human')
# Search topK results (in partition "human") for test vectors
res = collection.search(test_vectors, "vector_field", search_params, limit=topK, partition_names=['human'])
for results in res:
res_ids = results.ids # primary keys of topK results
res_distances = results.distances # distances between topK results & search input
DNA 서열 분류 Milvus에서 가장 유사한 DNA 서열을 검색하면 미지의 샘플이 속한 유전자 패밀리를 추론할 수 있으며, 이를 통해 해당 샘플의 가능한 기능을 파악할 수 있습니다. 서열이 GPCRs로 분류된다면, 이는 신체 기능에 영향을 미칠 가능성이 높습니다. 이 데모에서 Milvus는 시스템이 검색한 인간 DNA 서열의 유전자 패밀리를 성공적으로 식별할 수 있도록 했습니다.
그림 3.
그림 4.
유전적 유사도
생물체 간 평균 DNA 서열 유사도는 이들의 게놈이 얼마나 가까운지를 보여줍니다. 이 데모는 침팬지와 개의 DNA 서열과 각각 가장 유사한 인간 데이터를 검색합니다. 그런 다음 평균 내적 거리(침팬지 0.97, 개 0.70)를 계산하고 비교하여, 침팬지가 개보다 인간과 더 유사한 유전자를 공유한다는 것을 입증합니다. 더 복잡한 데이터와 시스템 설계를 통해 Milvus는 더 높은 수준의 유전학 연구도 지원할 수 있습니다.
search_params = {"metric_type": "IP", "params": {"nprobe": 20}}
성능
이 데모는 80%의 인간 샘플 데이터(총 3629개)로 분류 모델을 학습하고 나머지를 테스트 데이터로 사용합니다. Milvus를 사용하는 DNA 서열 분류 모델의 성능을 Mysql 및 5가지 인기 있는 머신러닝 분류기로 구동되는 모델과 비교합니다. Milvus 기반 모델은 정확도 면에서 다른 모델보다 뛰어난 성능을 보입니다.
from sklearn.model_selection import train_test_split
X, y = human_sequence_kmers, human_labels
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
그림 5.
추가 탐색
빅데이터 기술의 발전과 함께 DNA 서열의 벡터화는 유전학 연구와 실무에서 더욱 중요한 역할을 하게 될 것입니다. 생물정보학의 전문 지식과 결합하면, 관련 연구는 DNA 서열 벡터화의 도입을 통해 더 많은 이점을 얻을 수 있습니다. 따라서 Milvus는 실제 적용에서 더 나은 결과를 제시할 수 있습니다. 다양한 시나리오와 사용자 요구에 따라, Milvus 기반 유사도 검색과 거리 계산은 큰 잠재력과 많은 가능성을 보여줍니다.
- 알려지지 않은 서열 연구: 일부 연구자들에 따르면, 벡터화는 DNA 서열 데이터를 압축할 수 있습니다. 동시에 알려지지 않은 DNA 서열의 구조, 기능, 진화를 연구하는 데 더 적은 노력이 필요합니다. Milvus는 정확도를 잃지 않고 방대한 수의 DNA 서열 벡터를 저장하고 검색할 수 있습니다.
- 장치 적응: 서열 정렬의 전통적인 알고리즘에 제한되어, 유사도 검색은 장치(CPU/GPU) 개선의 이점을 거의 얻지 못합니다. 일반 CPU 연산과 GPU 가속을 모두 지원하는 Milvus는 근사 최근접 이웃 알고리즘으로 이 문제를 해결합니다.
- 바이러스 탐지 및 기원 추적: 과학자들은 게놈 서열을 비교하고, 박쥐 기원일 가능성이 있는 COVID19 바이러스가 SARS-COV에 속한다고 보고했습니다. 이 결론을 바탕으로 연구자들은 더 많은 증거와 패턴을 위해 표본 크기를 확대할 수 있습니다.
- 질병 진단: 임상적으로 의사들은 환자와 건강한 집단 간의 DNA 서열을 비교하여 질병을 유발하는 변이 유전자를 식별할 수 있습니다. 적절한 알고리즘을 사용해 특징을 추출하고 이러한 데이터를 인코딩하는 것이 가능합니다. Milvus는 벡터 간 거리를 반환할 수 있으며, 이는 질병 데이터와 관련될 수 있습니다. 질병 진단을 지원하는 것 외에도, 이 응용은 표적 치료 연구에 영감을 주는 데도 도움이 될 수 있습니다.
Milvus에 대해 더 알아보기
Milvus는 다양한 인공지능 및 벡터 유사도 검색 애플리케이션을 구동할 수 있는 강력한 도구입니다. 프로젝트에 대해 더 알아보려면 다음 리소스를 확인하세요:
계속 읽기
Milvus 2.6.x Now Generally Available on Zilliz Cloud, Making Vector Search Faster, Smarter, and More Cost-Efficient for Production AI
Milvus 2.6.x is now GA on Zilliz Cloud, delivering faster vector search, smarter hybrid queries, and lower costs for production RAG and AI applications.
Zilliz Cloud Now Available in Azure North Europe: Bringing AI-Powered Vector Search Closer to European Customers
The addition of the Azure North Europe (Ireland) region further expands our global footprint to better serve our European customers.
Introducing DeepSearcher: A Local Open Source Deep Research
In contrast to OpenAI’s Deep Research, this example ran locally, using only open-source models and tools like Milvus and LangChain.