블로그
HydroX AI와 Zilliz로 구현하는 안전한 RAG: 책임 있는 GenAI를 위한 PII 마스킹

HydroX AI와 Zilliz로 구현하는 안전한 RAG: 책임 있는 GenAI를 위한 PII 마스킹

Nov 07, 20243 min read

인공지능의 빠른 성장과 함께 웹 콘텐츠와 개인 정보 같은 방대한 양의 비정형 데이터가 AI 모델을 학습시키고 Retrieval Augmented Generation (RAG)와 같은 GenAI 애플리케이션을 강화하는 데 사용되어 왔습니다. 개인 식별 정보(PII)를 보호하는 것은 특히 모델 학습 및 추론 과정에서 이 데이터를 책임감 있게 사용하기 위해 필수적이 되었습니다.

이 중요한 요구를 충족하기 위해 오픈 소스 Milvus 벡터 데이터베이스의 제작자인 Zilliz는 HydroX AI와 협력하여 AI 애플리케이션의 데이터 개인정보 보호를 강화하도록 설계된 고급 도구인 PII Masker를 도입했습니다.

PII 안전성과 GenAI 보안의 중요성

생성형 AI(GenAI) 모델은 콘텐츠 생성, 질의응답, 정보 분석에서 새로운 가능성을 열었지만, 동시에 특정 보안 과제도 가져옵니다. GenAI 모델은 방대하고 다양한 데이터셋으로 학습되기 때문에, 이 데이터 안에 포함된 민감한 PII를 의도치 않게 학습하고 재생산할 수 있습니다. 이러한 위험은 모델의 출력에서 개인 데이터가 의도치 않게 드러날 수 있을 때 특히 우려됩니다.

GenAI 워크플로에서 데이터 안전성을 보장하는 것은 조직이 규정을 준수하도록 돕는 것뿐만 아니라, 데이터 유출을 줄이고 모델이 부정확하거나 오해의 소지가 있는 정보를 생성하는 환각을 최소화함으로써 모델 성능을 개선하는 데도 필수적입니다.

PII Masker는 Milvus 또는 Zilliz Cloud(Milvus의 관리형 버전)와 같은 벡터 데이터베이스에 데이터가 저장되기 전에 PII를 필터링하여 GenAI 모델에 중요한 보안 계층을 추가합니다. 이 단계는 민감한 정보가 노출될 위험을 크게 줄이며, 특히 GenAI 애플리케이션에서 유사도 검색과 의미 이해를 위해 비정형 데이터와 그 고차원 벡터 표현을 저장하는 데 벡터 데이터베이스를 사용할 때 중요합니다.

벡터 데이터베이스와 GenAI: 안전성이 필요한 완벽한 조합

Milvus와 같은 벡터 데이터베이스는 많은 GenAI 애플리케이션의 중추로, 벡터 임베딩을 효율적으로 저장, 인덱싱, 검색합니다. 이미지, 텍스트, 비디오 검색과 같은 시나리오에서 Milvus는 GenAI 모델이 근거 있는 정보를 바탕으로 작동하여 고품질 답변을 생성할 수 있게 하며, 의료부터 금융까지 다양한 산업의 AI 기반 애플리케이션을 위한 확장 가능한 솔루션을 제공합니다. 그러나 벡터 임베딩에는 종종 PII의 흔적이 포함될 수 있으며, 이는 기존 방법으로 감지하기 어려워 다운스트림 애플리케이션을 위한 데이터 개인정보 보호의 혁신적인 솔루션이 필수적입니다.

PII Masker는 여기에서 핵심적인 역할을 합니다. 조직은 데이터가 벡터 데이터베이스에 도달하기 전에 PII Marker를 사용해 PII를 익명화하거나 마스킹함으로써 데이터 파이프라인의 모든 계층에서 개인정보 보호를 보장할 수 있습니다. PII Masker는 Milvus 및 Zilliz Cloud와 원활하게 통합되어, 사용자가 지식 베이스와 RAG 애플리케이션을 개인정보 보호 규정에 부합하게 유지하고 사용자 데이터를 보호하면서 자신 있게 GenAI 애플리케이션을 구축할 수 있도록 합니다.

AI 모델 안전성을 위한 PII Masker의 주요 기능

HydroX AI가 Zilliz와 협력하여 개발한 PII Masker는 PII를 자동으로 감지하고 높은 정밀도로 마스킹합니다. DeBERTa-v3 NLP 모델을 사용하여 PII Masker는 민감한 정보를 식별하고 손쉬운 처리를 위한 구조화된 출력을 제공합니다. 최대 1,024개 토큰을 지원하는 PII Masker는 PII를 보호하면서 대규모 데이터셋을 효율적으로 처리합니다. 이 기능은 RAG 및 다양한 GenAI 애플리케이션이 응답에서 민감한 정보를 실수로 노출하는 것을 방지하여 데이터 유출 위험을 줄이고 쿼리가 비공개로 유지되도록 보장합니다.

PII Masker의 미래

PII Masker는 이미 상당한 이점을 제공하고 있지만, HydroX AI는 그 기능을 발전시키기 위해 최선을 다하고 있습니다. 다음은 곧 다가올 두 가지 발전 영역입니다:

확장된 언어 지원: AI 애플리케이션이 전 세계적으로 성장함에 따라 여러 언어에서 PII 안전성을 보장하는 것이 필수적입니다. PII Masker의 향후 버전은 다양한 데이터 풀을 지원하기 위해 언어 기능을 확장하여 국제 조직을 위한 더욱 다재다능한 도구가 될 것입니다.
맥락적 PII 감지 개선: 현재 PII Masker는 이름, 주소, 전화번호와 같은 명시적 PII를 감지합니다. 향후 반복 버전에서는 명시적으로 민감하지는 않지만 다른 데이터와 결합될 때 신원을 드러낼 수 있는 정보인, 맥락적으로 암시된 PII를 식별하고 마스킹하는 능력을 향상시키는 것을 목표로 합니다.

PII Masker 시작하기

PII를 보호하는 RAG 애플리케이션을 구현하는 데 관심이 있는 개발자를 위해, PII Masker는 기존 워크플로에 원활하게 통합되도록 설계된 직관적인 API를 제공합니다. 저장소를 클론하고, 종속성을 설치하며, 몇 줄의 코드를 실행함으로써 개발자는 민감한 데이터를 효율적으로 마스킹하기 시작할 수 있습니다. Zilliz와 HydroX AI의 이러한 협업은 사용자 개인정보를 존중하고 글로벌 규정을 준수하는 AI 애플리케이션의 생성을 촉진합니다.

Zhuo Li, HydroX AI의 창립자 겸 CEO는 이 이니셔티브의 중요성을 다음과 같이 강조합니다: "PII Masker를 AI 워크플로에 통합하면 민감한 정보가 보호되어, 조직이 최고 수준의 데이터 개인정보 보호 기준을 준수하면서 자신 있게 혁신할 수 있습니다."

PII Masker가 AI 기능을 발전시키면서 데이터 보호를 강화할 수 있는 방법에 대해 자세히 알아보려면 PII Masker GitHub repository를 방문하거나 building RAG with PII Masker and Milvus에 대한 단계별 가이드를 확인하세요.

Jul 13, 2026에 업데이트됨

계속 읽기

Zilliz Cloud Audit Logs Goes GA: Security, Compliance, and Transparency at Scale

Zilliz Cloud Audit Logs are now GA, giving enterprises real-time visibility, compliance-ready trails, and stronger security across AWS, GCP, and Azure.

1 Table = 1000 Words? Foundation Models for Tabular Data

TableGPT2 automates tabular data insights, overcoming schema variability, while Milvus accelerates vector search for efficient, scalable decision-making.

Vector Databases vs. Object-Relational Databases

Use a vector database for AI-powered similarity search; use an object-relational database for complex data modeling with both relational integrity and object-oriented features.