DeepSeek-OCR 설명: 확장 가능한 긴 컨텍스트 및 RAG 시스템을 위한 광학 압축
대규모 언어 모델(LLM)은 긴 컨텍스트를 처리할 때 여전히 어려움을 겪습니다. 긴 텍스트를 처리하려면 많은 컴퓨팅 파워가 소비되고, 지연 시간이 늘어나며, 출력 품질이 저하되는 경우가 많습니다. 많은 최적화 노력에도 불구하고 결과는 여전히 만족스럽지 않았습니다.
이 문제를 해결하기 위해 DeepSeek는 광학 2D 매핑을 사용해 긴 컨텍스트를 압축하는 오픈소스 모델인 DeepSeek-OCR을 소개했습니다. 원시 텍스트를 모델에 입력하는 대신, 텍스트 페이지를 이미지로 변환하고 그 이미지를 시각 토큰으로 취급합니다. 하나의 이미지는 수천 개의 텍스트 토큰만큼 많은 정보를 담을 수 있어, 모델이 훨씬 적은 리소스로 긴 문서를 처리할 수 있게 합니다.
이 아이디어는 영리하면서도 직관적입니다. 시각적 표현을 사용함으로써 DeepSeek-OCR은 계산량을 줄이면서도 높은 정확도를 유지합니다. 이는 LLM의 긴 컨텍스트 처리뿐 아니라, 오랫동안 높은 비용과 제한된 컨텍스트 창으로 어려움을 겪어 온 RAG 시스템에도 전환점이 될 수 있습니다.
앞선 섹션들에서는 DeepSeek-OCR이 어떻게 작동하는지 설명하고, 이 “광학 압축” 접근 방식이 차세대 LLM과 RAG 시스템을 어떻게 형성할 수 있을지 살펴보겠습니다.
LLM이 텍스트를 처리하는 전통적인 방식 — 그리고 그 핵심 한계
DeepSeek-OCR이 왜 그렇게 중요한지 이해하려면, 먼저 대규모 언어 모델(LLM)이 전통적으로 텍스트를 처리하는 방식과 그 한계를 이해하는 것이 도움이 됩니다. LLM은 인간처럼 단어나 문장을 읽지 않습니다. 이들은 단어, 하위 단어, 심지어 문자와 같은 작은 텍스트 단위인 토큰을 처리합니다. 모델이 입력을 받으면 텍스트를 이러한 토큰의 긴 시퀀스로 변환합니다. 그런 다음 셀프 어텐션 메커니즘이 모든 토큰을 다른 모든 토큰과 비교하여 컨텍스트와 의미를 이해합니다. 이 방법은 짧은 구절에는 잘 작동하지만 시퀀스가 길어질수록 빠르게 비효율적이 됩니다.
이차 계산 비용
그 비효율성은 수학에 뿌리를 두고 있습니다. 셀프 어텐션의 계산 비용은 토큰 수에 따라 이차적으로(O(n²)) 증가합니다. 입력이 1,000개 토큰에서 10,000개 토큰으로 늘어나면 어텐션 연산 수는 100배 증가합니다. 최상급 GPU조차 이러한 작업 부하를 마주하면 메모리 한계나 추론 시간 초과에 도달할 수 있습니다.
평탄화된 어텐션: 긴 컨텍스트에서 초점 잃기
문제는 거기서 끝나지 않습니다. 시퀀스가 길어질수록 모델의 어텐션 가중치는 평탄화되는 경향이 있습니다. 즉, 텍스트 전체에 너무 고르게 퍼지거나 시작과 끝에만 집중합니다. 이러한 초점 상실은 아무리 많은 계산 자원을 투입해도 정확성과 관련성을 해칩니다.
멀티모달 및 구조화된 텍스트에서의 비효율성
텍스트 토큰은 PDF, 슬라이드, 스프레드시트와 같은 멀티모달 또는 구조화된 문서 작업에서도 한계를 보입니다. 텍스트가 토큰화되면 레이아웃, 표, 시각적 구조가 손실되는데, 이러한 요소들은 중요한 의미를 담고 있습니다. 다국어 텍스트는 또 다른 복잡성을 더합니다. 각 언어는 고유한 분할 규칙을 가진 자체 토크나이저를 필요로 합니다. 그리고 그 모든 과정을 거친 뒤에도, 가장 공격적인 텍스트 기반 압축조차 토큰 수를 1–2배 정도 줄이는 데 그치는 경우가 많아 실제 긴 컨텍스트 애플리케이션에는 턱없이 부족합니다.
DeepSeek-OCR: 컨텍스트 광학 압축으로 긴 컨텍스트 처리 지원
앞서 논의했듯이, 전통적인 토큰 기반 접근 방식은 멀티모달 텍스트를 처리할 때 높은 계산 비용, 초점 상실, 문서 구조 손실이라는 세 가지 어려운 한계에 직면합니다. DeepSeek-OCR은 텍스트를 시각 토큰으로 변환하여 이러한 과제를 극복합니다. 즉, 의미와 구조를 보존하면서 훨씬 더 많은 정보를 더 적은 요소에 압축합니다.
그렇다면 어떻게 작동할까요? 핵심은 Contexts Optical Compression이라는 새로운 패러다임에 있습니다. 긴 텍스트 토큰 스트림을 모델에 입력하는 대신, DeepSeek-OCR은 먼저 텍스트를 이미지로 변환한 다음 해당 이미지를 컴팩트한 시각 토큰으로 인코딩합니다. 이 과정은 LLM의 두 가지 가장 큰 문제점, 즉 긴 컨텍스트의 높은 계산 비용과 토큰화 과정에서 문서 구조가 손실되는 문제를 직접적으로 해결합니다.
작동 방식은 다음 세 단계로 이루어집니다:
텍스트를 구조화된 문서 이미지로 렌더링합니다. 원본 텍스트는 차트, 표, 수식과 함께 시각적 레이아웃과 의미적 단서를 보존하는 이미지로 렌더링됩니다.
이미지를 시각 토큰으로 압축합니다. 시각 인코더는 각 이미지를 컴팩트한 표현으로 변환하여 토큰 수를 7–20배 줄이고, OmniDocBench와 같은 벤치마크에서는 최대 60배까지 줄입니다.
시각 토큰에서 텍스트를 재구성합니다. 언어 디코더는 이러한 시각 토큰을 다시 텍스트로 변환하며, 97% 이상의 인식 정확도로 의미와 형식을 모두 유지합니다.
이 접근 방식이 효과적인 이유는 문서 이미지가 훨씬 적은 토큰으로 동등한 의미 정보를 담을 수 있기 때문입니다. 동시에 문서 이미지는 일반적인 토큰화가 버리는 레이아웃, 기호 및 기타 비텍스트 요소를 본질적으로 보존합니다. 결과적으로 DeepSeek-OCR은 텍스트 기반 LLM의 핵심 한계를 우회하여 구조, 의미, 효율성을 동시에 유지합니다.
내부적으로 Contexts Optical Compression은 두 가지 핵심 구성 요소로 구동됩니다. 문서 이미지의 고비율 압축을 수행하는 DeepEncoder와, 시각 토큰에서 원본 콘텐츠를 재구성하는 MoE (Mixture-of-Experts) Decoder입니다. 이 두 요소가 함께 작동함으로써 DeepSeek-OCR은 긴 컨텍스트 정보를 높은 정확도와 뛰어난 효율성으로 처리할 수 있습니다.
DeepEncoder: 압축과 정밀도의 결합
DeepEncoder는 DeepSeek-OCR 아키텍처의 핵심으로, 시각적 특징을 추출하고 이를 컴팩트하면서도 정보가 풍부한 시각 토큰으로 압축하는 역할을 담당하는 구성 요소입니다. 이는 세 부분으로 구성된 아키텍처를 통해 정밀성과 효율성을 결합합니다:
SAM-base (800M parameters): windowed attention을 사용해 고해상도 문서 이미지를 처리합니다. 이 설계는 문자와 구두점 같은 세부 정보를 포착하는 동시에 활성화 메모리를 제어 가능한 수준으로 유지합니다.
16× Convolutional Compressor (2 layers): 이미지 토큰 수를 16배 줄입니다. 예를 들어, 처음에 4,096개의 토큰을 생성하는 1024×1024 이미지는 단 256개로 줄어들며, 최소한의 품질 손실로 16× 압축을 달성합니다.
CLIP-large (300M parameters): 문서 전체의 의미적 일관성을 유지하기 위해 dense global attention을 적용합니다. 공격적인 압축 환경에서도 표의 행–열 정렬 및 수식 구조와 같은 관계를 보존합니다.
DeepEncoder는 Tiny, Small, Base, Large, Gundam, Gundam-M의 여섯 가지 해상도 모드를 지원하며, 작업 요구사항에 따라 64개에서 1,853개의 시각 토큰을 생성합니다. 이러한 유연성은 적응형 컨텍스트 관리를 가능하게 합니다. 오래되었거나 덜 중요한 콘텐츠에는 저해상도 압축을 적용하고, 최근의 중요 세그먼트에는 고해상도 인코딩을 적용할 수 있습니다.
MoE Decoder: 효율적이고 정확한 재구성
압축이 완료되면 MoE (Mixture of Experts) Decoder가 텍스트를 효율적이고 정확하게 재구성합니다. DeepSeek-OCR은 DeepSeek-3B-MoE-A570M 모델을 사용하며, 이 모델은 훨씬 적은 연산량으로 대형 모델 수준의 정확도를 달성합니다. 한 번에 570M개의 파라미터만 활성화되며(64개의 전문가 중 6개와 공유 전문가 2개를 선택), 30억 파라미터 프레임워크 내에서 대규모 모델에 필적하는 처리 정확도를 달성합니다.
디코더는 시각 토큰에서 텍스트 토큰으로의 비선형 매핑도 지원하여, 구조화되고 의미적으로 풍부한 출력을 가능하게 합니다. 예를 들어, 차트를 HTML 테이블로 변환하거나 화학식을 SMILES 문자열로 번역하여, 복잡한 시각 데이터가 텍스트로 충실하게 표현되도록 할 수 있습니다.
성능 측면에서, MoE Decoder는 빠르면서도 확장 가능합니다:
순수 텍스트 데이터에서 하루 최대 900억 토큰 처리
멀티모달 데이터셋에서 하루 700억 토큰 처리
단일 A100-40G GPU에서 초당 2,500 토큰 처리량 달성
이러한 압축 효율성, 구조 보존, 디코딩 속도의 조합은 대형 모델에 가까운 정밀도를 유지하면서도 롱 컨텍스트 처리 비용을 크게 낮춥니다.
DeepSeek-OCR이 달성한 것과 그것이 중요한 이유
DeepSeek-OCR의 영향은 OCR 정확도 향상을 훨씬 넘어섭니다. 크로스 모달 압축을 통해 롱 컨텍스트 LLM, 멀티모달 추론, 다국어 문서 이해를 위한 새로운 기반을 제시합니다. 텍스트를 보편적인 시각 표현으로 전환함으로써, DeepSeek-OCR은 대형 모델의 효율성과 범용성의 경계를 넓히는 세 가지 중요한 발전을 가능하게 합니다.
1. 텍스트와 이미지가 혼합된 문서의 엔드투엔드 처리
기존 파이프라인은 차트, 수식 또는 기타 시각 요소가 포함된 문서를 처리하는 데 어려움을 겪습니다. 일반적으로 이미지를 텍스트로 변환하기 위해 별도의 OCR 단계에 의존하는데—이 과정에서 종종 서식이 손실되고, 구조가 깨지거나, 인식 오류가 발생한 뒤—텍스트가 추가 처리를 위해 토크나이저로 전달됩니다.
DeepSeek-OCR은 이 취약한 중간 단계를 제거합니다. 혼합된 텍스트 및 그래픽 콘텐츠를 통합된 시각 토큰으로 직접 변환하여, 단일한 연속 워크플로에서 구조와 시각적 무결성을 보존합니다. 예를 들어, 내장된 선형 차트가 있는 재무 보고서를 분석할 때, 모델의 시각 토큰은 추세 자체를 유지합니다. 그런 다음 디코더는 평면적인 문자열이 아니라 편집 가능한 HTML 테이블이나 서식이 지정된 텍스트와 같은 구조화된 출력을 생성할 수 있습니다.
2. 다국어 처리에서의 더 큰 보편성
토큰 기반 시스템은 언어마다 별도의 토크나이저를 필요로 하며, 각각은 서로 다른 분할 규칙을 따릅니다—예를 들어, 중국어 문자 구성, 영어 하위 단어 단위, 또는 아랍어 문자 연결 등이 있습니다. 이러한 복잡성을 관리하는 것은 다국어 모델 학습과 유지보수를 모두 비용이 많이 들고 오류가 발생하기 쉽게 만듭니다.
DeepSeek-OCR은 이미지를 중간 표현으로 사용함으로써 이를 해결하며, 언어 계통을 구분하지 않고 100개 이상의 언어를 처리할 수 있게 합니다. 이는 다국어 문서 이해의 장벽을 낮추고, 단일 모델 아키텍처가 다양한 문자 체계를 매끄럽게 처리할 수 있도록 합니다.
3. 긴 문서를 위한 더 낮은 비용과 더 스마트한 컨텍스트 관리
슬라이딩 윈도우나 희소 어텐션과 같은 기존의 롱 컨텍스트 처리 솔루션은 텍스트 토큰 수준에서 효율성을 최적화하지만, 여전히 어텐션의 O(n²) 계산 병목 내에서 작동합니다. 반면, DeepSeek-OCR은 텍스트 → 이미지 → 시각 토큰으로 변환함으로써 텍스트 기반 계산을 더 낮은 복잡도의 시각적 운반체로 대체하여, 긴 텍스트 시퀀스에 수반되는 무거운 계산 부하를 줄입니다.
이 설계는 또 다른 중요한 장점을 제공합니다: 적응형 컨텍스트 관리입니다. 모델은 최근의 세부 정보가 풍부한 콘텐츠에는 더 높은 해상도(더 많은 시각 토큰)를 할당하고, 오래되었거나 덜 중요한 정보에는 더 낮은 해상도(더 적은 시각 토큰)를 배정할 수 있습니다. 이는 DeepSeek-OCR을 메모리와 정밀도가 모두 중요한 멀티턴 대화, 긴 문서 분석, 검색 증강 생성(RAG) 시나리오에 특히 효과적으로 만듭니다.
미래를 향해: DeepSeek-OCR이 RAG의 미래를 가리키는 방식
DeepSeek-OCR은 RAG가 다음에 어디로 나아갈 수 있는지에 대한 귀중한 통찰을 제공합니다. 그 핵심 원리—정보를 시각 토큰으로 압축하는 것—는 텍스트를 밀집 임베딩으로 변환하는 Sentence-BERT와 같은 모델의 논리를 떠올리게 합니다. 두 접근 방식은 동일한 목표를 공유합니다. 풍부하고 복잡한 정보를 간결하고 계산 효율적인 형태로 표현하는 것입니다.
앞으로 이 아이디어는 멀티모달 RAG를 근본적으로 재편할 수 있습니다. 차트, 표, 그림이 포함된 문서를 처리할 때 DeepSeek-OCR은 디코딩 단계를 완전히 건너뛰고, 압축된 시각 토큰을 추론이나 생성을 위해 멀티모달 대형 모델에 직접 입력할 수 있습니다. 미래의 RAG 시스템도 유사한 경로를 따를 수 있습니다—오늘날의 다단계 프로세스(임베딩 유사도 검색 → 텍스트 재구성 → LLM 입력)에서 보다 간소화된 파이프라인인 임베딩 검색 → 직접 LLM 입력으로 진화하는 것입니다.
이러한 패러다임 전환은 RAG의 오랜 비효율성 몇 가지를 해결합니다. 현재 시스템은 모든 쿼리에 대해 텍스트를 반복적으로 토큰화하고 임베딩을 다시 생성하여—컴퓨팅 자원을 낭비하고 정보 손실을 초래합니다. 이러한 비용은 더 긴 문서에서 누적되며, 어텐션 메커니즘은 토큰 수에 대해 이차적으로 확장됩니다. 반면 임베딩이나 시각 토큰을 검색하여 LLM에 직접 제공할 수 있다면, 토큰화 손실이 제거되고, 컴퓨팅 오버헤드가 극적으로 감소합니다.
이는 또한 더 효율적인 오프라인–온라인 워크플로를 가능하게 합니다. 임베딩은 한 번 생성되어 Milvus와 같은 벡터 데이터베이스에 저장되고 무기한 재사용될 수 있습니다. 쿼리 시에는 Top-K 임베딩—대개 20개 미만—만 가져오면 모델에 정확한 맥락적 기반을 제공할 수 있습니다.
계속 읽기
Why We Built Vector Lakebase: Rethinking Unstructured Data Architecture for AI
Vector Lakebase: a unified, lake-native data foundation for AI workloads — and an answer to what happens after vector databases succeed.
We spent 8 years making vector databases faster. Then we stopped.
Rarely queried embeddings still need to stay searchable. See how Vector Lakebase enables on-demand vector search without always-on compute costs.
Proactive Monitoring for Vector Database: Zilliz Cloud Integrates with Datadog
we're excited to announce Zilliz Cloud's integration with Datadog, enabling comprehensive monitoring and observability for your vectorDB deployments.