머신 러닝 작업(MLOps)

머신러닝](https://zilliz.com/learn/AI-and-ML-with-Vector-Databases) 모델이 일상적인 비즈니스 프로세스에 더욱 통합됨에 따라 조직은 실제 환경에서 모델의 정확성과 관련성을 유지하는 데 있어 몇 가지 문제에 직면하고 있습니다. 한 가지 주요 문제는 모델링하는 데이터가 시간이 지남에 따라 변경되어 정확성을 잃게 되는 데이터 드리프트입니다. 따라서 예측의 유효성을 유지하기 위해 지속적인 모니터링, 재교육, 모델 재배치가 필요합니다.

적절한 시스템이 없으면 이러한 모델을 관리하는 데 오류가 발생하기 쉽고 시간이 많이 소요되며 비용이 많이 들 수 있습니다. MLOps(머신 러닝 운영)는 전체 프로세스를 자동화하고 간소화하여 이 문제를 해결합니다.

데이터 준비](https://zilliz.com/blog/streamling-data-processing-with-zilliz-cloud-pipelines-a-deep-dive-into-document-chunking)부터 모델 배포 및 모니터링에 이르기까지 엔드투엔드 머신 러닝 라이프사이클을 단순화하고 자동화하는 MLOps의 방법을 알아보세요.

MLOps란?

머신 러닝 운영(MLOps)은 머신 러닝, DevOps, 데이터 엔지니어링을 결합하여 머신 러닝 라이프사이클을 간소화합니다. MLOps는 데이터 수집과 모델 개발부터 모델 배포, 모니터링, 재교육에 이르기까지 프로덕션 환경에서 대규모로 ML 모델을 안정적으로 배포하고 유지 관리하는 것을 목표로 합니다.

데브옵스가 소프트웨어 개발에 자동화 및 통합 관행을 도입한 것처럼, MLOps도 머신 러닝에 동일한 방식을 적용합니다. 지속적 통합(CI) 및 지속적 배포(CD) 원칙을 적용하여 팀이 모델을 더 빠르게 반복하면서 프로덕션 환경에서 강력한 모니터링과 성능을 보장할 수 있도록 합니다.

MLOps 작동 방식

MLOps 프로세스에는 전체 머신 러닝 수명 주기를 간소화하기 위해 함께 작동하는 여러 단계가 포함되어 있습니다. 다음은 다음과 같습니다:

모델 개발
모델 제공
모델 모니터링
모델 유지 관리
데이터 관리
자동화

그림- MLOps 워크플로우의 여러 단계.png

그림: MLOps 워크플로우의 여러 단계

모델 개발

MLOps의 첫 번째 단계는 모든 머신 러닝 프로젝트의 기초가 되는 모델 개발로, 몇 가지 중요한 하위 단계가 포함되어 있습니다:

데이터 준비: **모델을 학습시키기 전에 데이터를 정리하고 정리해야 합니다. 여기에는 관련 없는 정보를 제거하고, 누락된 값을 채우고, 데이터를 정규화하고, ML 모델에 적합한 형식으로 변환하는 작업이 포함됩니다.
피처 엔지니어링: **피처 엔지니어링은 새로운 정보를 제공하는 피처를 생성하거나 기존 피처를 변형하여 모델에 더 유용하게 만듭니다. 예를 들어, 데이터 과학자는 날씨 예측 모델에 '풍속 제곱' 또는 '온도 기울기'와 같은 새로운 피처를 생성하여 예측 정확도를 향상시킬 수 있습니다.
모델 훈련: **데이터를 준비한 후에는 ML 모델을 훈련합니다. 데이터 과학자는 알고리즘과 하이퍼파라미터로 여러 모델을 훈련시켜 가장 성능이 좋은 모델을 찾습니다.
모델 테스트:** 모델이 학습되면 별도의 데이터 세트에서 테스트하여 새로운 데이터에 대해 정확한 예측을 할 수 있는지 확인합니다. 또한 다양한 평가 지표를 사용하여 학습된 ML 모델의 성능을 평가합니다.

모델 제공

모델이 개발되면 실시간으로 예측을 수행할 수 있도록 프로덕션 환경에 배포해야 합니다:

배포:** 여기에는 사용자나 애플리케이션이 모델을 사용할 수 있도록 하는 것이 포함됩니다. 모델은 다른 시스템과 상호 작용하기 위해 API를 통해 배포되는 경우가 많습니다. 쿠버네티스](https://zilliz.com/learn/efficiently-deploying-milvus-on-gcp-kubernetes) 및 도커와 같은 배포 솔루션은 모델이 확장 가능하고 유지 관리가 용이하도록 보장함으로써 이 프로세스를 관리하는 데 도움을 줍니다.
컨테이너화: 모델은 일관성을 보장하기 위해 컨테이너(예: Docker)에 격리됩니다. 컨테이너에는 코드, 종속성, 설정 등 필요한 모든 구성 요소가 포함되어 있으므로 모델이 여러 환경에서 일관되게 실행됩니다.

모델 모니터링

배포 후에는 모델의 성능을 지속적으로 모니터링하여 정확성과 관련성을 유지해야 합니다:

성능 추적: **모니터링 시스템은 모델의 성능을 모니터링합니다. 예를 들어, 모델이 부정확한 예측을 하기 시작하면 시간이 지남에 따라 작업 중인 데이터가 변경되었음을 나타낼 수 있습니다(데이터 드리프트).
로깅:** 모든 모델 활동은 입력, 출력 및 오류 기록을 유지하기 위해 로깅됩니다. 이를 통해 문제를 해결하고 모델 사용 방식의 패턴을 파악할 수 있습니다.

모델 유지 관리

머신 러닝 모델이 제대로 작동하려면 정기적으로 유지 관리해야 합니다:

업데이트 및 재교육:** MLOps는 새로운 데이터를 사용할 수 있게 되거나 성능이 저하될 때 모델을 업데이트하고 재교육할 수 있도록 지원합니다. 정기적인 재학습을 통해 모델은 변화하는 데이터 패턴에 적응하면서 최신의 정확성을 유지할 수 있습니다. MLOps는 이 프로세스를 자동화하여 효율적이고 오류 발생률이 낮습니다.
버전 관리:** 다양한 버전의 모델을 추적하기 위해 MLOps는 GitHub, MLflow, DVC와 같은 버전 관리 시스템을 사용합니다. 이러한 시스템은 모델을 생성하는 데 사용된 데이터 및 코드와 함께 모델의 각 버전을 기록합니다.

데이터 관리

데이터는 모든 머신 러닝 시스템의 근간이며, 데이터를 효과적으로 관리하는 것은 MLOps의 핵심 부분입니다:

**데이터 수집 및 저장: MLOps는 다양한 소스에서 ML 파이프라인으로 유입되는 데이터 흐름을 관리하고, Zilliz Cloud, Milvus와 같은 확장 가능한 클라우드 스토리지에 데이터를 저장합니다.
데이터 거버넌스](https://zilliz.com/learn/safeguarding-data-security-and-privacy-in-vector-database-systems):** MLOps는 데이터 품질, 보안 및 규정 준수를 보장합니다. 또한 권한이 있는 개인만 데이터에 액세스하고 개인정보 보호법을 준수할 수 있도록 보장합니다.

자동화

MLOps의 주요 목표 중 하나는 반복적인 작업을 자동화하여 시간이 지남에 따라 머신 러닝 모델을 더 쉽게 관리하는 것입니다:

워크플로 오케스트레이션: **자동화 도구는 데이터 처리부터 모델 훈련 및 배포에 이르기까지 ML 파이프라인의 여러 단계를 처리할 수 있습니다. 따라서 수동 개입의 필요성이 줄어들고 모델 구축 및 배포 시 일관성을 유지하는 데 도움이 됩니다.
지속적인 통합/지속 배포(CI/CD):** CI/CD 파이프라인은 팀이 간소화되고 자동화된 방식으로 모델을 지속적으로 빌드, 테스트 및 배포할 수 있도록 도와줍니다. CI/CD를 사용하면 모델을 신속하게 업데이트하고 테스트하여 최소한의 지연으로 프로덕션에 적용할 수 있습니다.

비교: MLOps와 DevOps, LLMOps 비교

MLOps, DevOps, LLMOps는 비슷한 용어처럼 보이지만, 각 사례는 개발 워크플로 개선에 중점을 두고 있으며 소프트웨어 개발 및 AI 분야에서 서로 다른 과제를 해결하고 고유한 솔루션을 제공합니다.


Aspect	DevOps	MLOps	LLMOps
정의	소프트웨어 개발 및 IT 운영을 자동화하는 일련의 관행.	머신러닝 모델의 수명 주기를 자동화하기 위해 DevOps 원칙을 확장합니다.	대규모 언어 모델](https://zilliz.com/glossary/large-language-models-(llms))(LLM)의 수명 주기를 관리하는 데 중점을 둡니다.
중점 사항	소프트웨어 배포 파이프라인(CI/CD) 자동화, 협업 개선 및 개발 수명 주기 단축.	데이터 준비부터 모델 배포 및 모니터링까지 ML 워크플로 자동화.	프로덕션 환경에서 LLM의 배포, 미세 조정 및 관리를 최적화합니다.
주요 도구	- CI/CD를 위한 GitLab - 모니터링을 위한 Grafana - 컨테이너 오케스트레이션을 위한 Docker 및 Kubernetes.	워크플로우 자동화를 위해 Kubeflow 및 Apache Airflow를 사용 - 모델 학습을 위해 Scikit-learn 및 TensorFlow를 사용합니다.	미세 조정을 위한 Hugging Face 트랜스포머 - 대규모 추론 도구(Ray Serve, ONNX).
사용 사례 - 소프트웨어 업데이트의 신속한 배포 - 분산 시스템 관리.	프로덕션 환경에서 모델 성능의 지속적인 모니터링 - ML 모델의 재교육 및 재배포 자동화.	NLP](https://zilliz.com/learn/A-Beginner-Guide-to-Natural-Language-Processing) 작업을 위한 대규모 언어 모델 배포 - 특수 도메인에 대한 모델 미세 조정.

MLOps 메트릭

MLOps에서 메트릭은 모델 성능과 전체 ML 파이프라인을 측정하는 데 핵심적인 역할을 합니다. MLOps의 KPI는 기존 ML 모델 메트릭을 넘어 전체 수명 주기로 확장됩니다. 모델 정확도, 정밀도, 리콜, F1 점수는 여전히 기본이지만, MLOps에는 새로운 지표가 도입되었습니다. 배포 빈도는 새 모델이나 업데이트가 프로덕션에 배포되는 빈도와 ML 파이프라인이 얼마나 민첩한지를 측정합니다. 평균 복구 시간(MTTR)은 프로덕션 모델에서 문제를 얼마나 빨리 식별하고 해결하는지를 측정합니다. 리소스 사용률 메트릭은 클라우드의 비용 관리에 중요한 계산 효율성을 측정합니다. 데이터 및 모델 드리프트 메트릭은 입력 데이터가 변경됨에 따라 시간이 지남에 따라 모델이 얼마나 잘 수행되는지를 측정합니다. 추론 지연 시간과 처리량은 실시간 애플리케이션에 매우 중요하며 응답 시간과 처리 용량을 측정합니다. A/B 테스트 메트릭은 새 모델의 성능을 프로덕션 환경의 기존 모델과 비교합니다. 파이프라인 자동화 수준은 사람의 개입이 필요한 수준을 측정하며, 수준이 높을수록 더 성숙한 MLOps에 적합합니다. 마지막으로, 모델 버전 관리 및 재현성 메트릭은 실험과 배포를 추적하고 복제할 수 있도록 보장합니다. 이러한 메트릭을 통해 MLOps를 전체적으로 파악할 수 있으므로 ML 프로세스와 결과를 지속적으로 개선할 수 있습니다.

MLOps의 장점과 과제 ## MLOps의 장점과 과제

MLOps는 머신 러닝 운영의 효율성과 효과를 향상시키는 수많은 이점을 제공하지만, 조직이 해결해야 할 몇 가지 과제를 제시하기도 합니다. MLOps 사례를 성공적으로 구현하고 최적의 결과를 달성하려면 이점과 과제를 이해하는 것이 중요합니다.

MLOps의 이점

자동화된 파이프라인:** 수동 개입을 줄여 데이터 과학자와 엔지니어가 핵심 업무에 집중할 수 있습니다.
시장 출시 기간 단축: 간소화된 워크플로우와 자동화로 모델 반복과 릴리스 주기를 단축할 수 있습니다.
성능 향상:** 지속적인 모니터링 및 재교육 주기를 통해 동적인 실제 시나리오에서 잘 작동하는 강력한 모델을 구축할 수 있습니다.
확장성:** MLOps 프레임워크를 사용하면 다양한 환경에 걸쳐 수천 개의 모델을 배포하고 관리할 수 있습니다.
지속적인 개선: 모델은 지속적으로 모니터링되고 재교육됩니다. 이를 통해 새로운 데이터와 변화하는 조건에 적응하고 높은 성능을 유지할 수 있습니다.

MLOps 과제

복잡성: MLOps를 구현하려면 복잡한 인프라와 워크플로우를 설정해야 하며, 이는 리소스 집약적입니다.
도구 통합: 데이터 관리, 모델 학습, 배포 및 모니터링을 위한 다양한 도구를 통합하는 것은 어려운 일입니다.
모델 버전 관리 및 재현성:** 머신러닝 모델의 다양한 버전과 그에 따른 종속성 및 설정을 모두 추적하고 관리하기가 어려울 수 있습니다. 다양한 환경에서 결과를 재현하고 검증하는 것도 또 다른 문제가 될 수 있습니다.
비용: MLOps는 장기적으로 효율성과 확장성을 향상시킬 수 있지만, MLOps 프레임워크를 설정하는 데 드는 초기 비용이 높을 수 있습니다. 조직은 MLOps 이니셔티브의 성공을 보장하기 위해 적절한 도구, 인프라 및 인재에 투자해야 합니다.
협업:** MLOps는 공통 프로세스와 도구를 도입하여 데이터 엔지니어, 과학자, 개발자, IT 엔지니어 간의 효과적인 협업을 촉진하지만, 이는 여전히 중요한 과제로 남아 있습니다.

MLOps의 도구 및 기술

MLOps는 머신 러닝 수명 주기를 관리하기 위해 다양한 도구와 기술에 의존합니다. 다음은 가장 일반적으로 사용되는 MLOps 도구 중 일부입니다:

MLflow: 실험 추적, 모델 버전 관리 및 배포를 포함한 전체 머신 러닝 수명 주기를 관리하기 위한 오픈 소스 플랫폼입니다.
**DVC(데이터 버전 제어): 데이터 관리, ML 파이프라인 자동화, 실험 관리를 위한 오픈 소스 버전 제어 시스템입니다.
Kubeflow:** 프로덕션 환경에서 머신 러닝 모델을 배포, 확장 및 관리하기 위한 Kubernetes 기반 플랫폼.
Apache Airflow:** 데이터 파이프라인을 관리하고 데이터 수집 및 모델 학습을 위한 작업을 예약하는 데 도움이 되는 워크플로우 자동화 도구.
텐서플로우 익스텐디드(TFX):** 텐서플로우를 사용해 프로덕션 머신 러닝 파이프라인을 배포하기 위한 엔드투엔드 플랫폼. TFX는 데이터 유효성 검사, 모델 제공 및 지속적인 학습을 위한 도구를 제공합니다.
벡터 데이터베이스 (밀버스, 질리즈 클라우드): 많은 MLOps 시나리오에서 이미지, 텍스트 또는 오디오와 같은 비정형 데이터 처리는 매우 중요합니다. 이때 벡터 데이터베이스가 도움이 될 수 있습니다. 이러한 데이터의 저장과 쿼리 벡터 임베딩 및 수치 표현을 전문으로 합니다. Milvus는 대규모 데이터 세트와 복잡한 쿼리를 처리하는 데 탁월한 오픈 소스 벡터 데이터베이스입니다.

MLOps 트렌드

MLOps 환경은 빠르게 변화하고 있으며 몇 가지 흥미로운 트렌드가 떠오르고 있습니다. AutoML(자동화된 머신 러닝)은 기능 엔지니어링과 하이퍼파라미터 튜닝을 자동화하며 급부상하고 있습니다. 엣지 ML은 엣지 디바이스에서 모델을 실행하여 지연 시간을 줄이고 개인정보 보호를 강화하는 등 그 중요성이 더욱 커지고 있습니다. 데이터를 비공개로 유지하면서 분산된 디바이스에서 모델을 학습시키는 연합 학습이 부상하고 있습니다. 모델 해석 가능성과 투명성에 대한 증가하는 요구를 해결하기 위해 MLOps 파이프라인에 XAI(설명 가능한 AI) 도구가 추가되고 있습니다. 미묘한 모델 성능 저하와 데이터 드리프트를 실시간으로 감지할 수 있는 ML 전용 모니터링 도구에 대한 관심도 높아지고 있습니다. LLM(대규모 언어 모델)은 고급 NLP 작업을 수행하기 위해 MLOps 워크플로우에 추가되고 있습니다. 지속 가능성이 더 큰 관심사로 떠오르면서 리소스 사용을 최적화하고 ML의 탄소 발자국을 줄이기 위한 친환경 MLOps가 등장하고 있습니다. 이러한 추세는 더 자동화되고, 효율적이며, 해석 가능하고, 친환경적인 MLOps의 미래를 가리킵니다.

MLOps에 대한 ## 자주 묻는 질문

**MLOps는 어떤 용도로 사용되나요?

머신러닝 운영(MLOps)은 머신러닝(ML) 모델의 워크플로우와 배포 프로세스를 간소화하고 자동화하기 위해 고안된 사례 모음입니다. 기업은 머신러닝과 인공 지능(AI)을 통합하여 복잡한 현실의 문제를 해결하고 가치 있는 고객 솔루션을 만들 수 있습니다.

**MLOps와 DevOps란 무엇인가요?

MLOps는 머신러닝 모델을 빠르게 테스트하고 배포하는 데 중점을 둔 데이터 과학 관행입니다. 반면 데브옵스는 개발과 IT 운영을 통합하여 소프트웨어 개발 효율성, 안정성 및 보안을 향상시킵니다.

**MLOps와 AIOP의 차이점은 무엇인가요?

AIOps는 IT 운영 및 데이터 과학 팀이 예측 알림 관리를 구현하고 데이터 보안을 강화하며 DevOps 워크플로우를 지원할 수 있게 해줍니다. MLOps 솔루션은 기업이 머신 러닝 모델의 배포 속도를 높이고, 데이터 과학 팀과 운영 팀 간의 협업을 개선하며, 조직 전체에서 AI 노력을 확장하는 데 도움이 됩니다.

**MLOps에 대한 수요가 있나요?

기업이 데이터 기반 솔루션을 도입함에 따라 머신러닝 모델을 효율적으로 배포하고 관리하기 위한 MLOps 전문가에 대한 수요가 빠르게 증가하고 있습니다.

**MLOps에 가장 적합한 언어는 무엇인가요?

현재 머신 러닝과 MLOps를 위한 최고의 언어는 Python입니다. 그 인기는 NumPy, TensorFlow, Keras, PyTorch 등 머신 러닝에 사용할 수 있는 광범위한 도구와 라이브러리에서 비롯됩니다. 이러한 라이브러리를 사용하면 머신 러닝 모델을 더 쉽게 구축하고 데이터 엔지니어링 작업을 처리할 수 있어 전체 머신 러닝 프로젝트 MLOps 프로세스를 간소화할 수 있습니다.