DeepSeek-OCR explicado: Compressão óptica para sistemas escaláveis de contexto longo e RAG
Grandes modelos de linguagem (LLMs) ainda têm dificuldades ao processar contextos longos. Lidar com textos longos consome muito poder computacional, aumenta a latência e frequentemente reduz a qualidade da saída. Apesar de muitos esforços de otimização, os resultados permaneceram insatisfatórios.
Para enfrentar esse problema, a DeepSeek apresentou o DeepSeek-OCR, um modelo de código aberto que comprime contextos longos usando mapeamento óptico 2D. Em vez de alimentar o modelo com texto bruto, ele converte páginas de texto em imagens e trata essas imagens como tokens visuais. Uma imagem pode conter tanta informação quanto milhares de tokens de texto, permitindo que o modelo lide com documentos longos usando muito menos recursos.
A ideia é ao mesmo tempo inteligente e direta. Ao usar representações visuais, o DeepSeek-OCR mantém alta precisão enquanto reduz a computação. Isso pode ser um ponto de virada — não apenas para lidar com contextos longos em LLMs, mas também para sistemas RAG, que há muito enfrentam dificuldades com custos elevados e janelas de contexto limitadas.
Nas seções a seguir, explicarei como o DeepSeek-OCR funciona e explorarei como essa abordagem de “compressão óptica” pode moldar a próxima geração de LLMs e sistemas RAG.
A forma tradicional como os LLMs lidam com texto — e suas principais limitações
Para entender por que o DeepSeek-OCR é tão importante, ajuda primeiro entender como os grandes modelos de linguagem (LLMs) tradicionalmente lidam com texto e suas limitações. LLMs não leem palavras ou frases da forma como os humanos leem — eles processam tokens, que são pequenas unidades de texto, como palavras, subpalavras ou até caracteres. Quando um modelo recebe uma entrada, ele converte o texto em uma longa sequência desses tokens. O mecanismo de autoatenção então compara cada token com todos os outros tokens para entender o contexto e o significado. Esse método funciona bem para passagens curtas, mas rapidamente se torna ineficiente à medida que a sequência fica mais longa.
Custos computacionais quadráticos
Essa ineficiência está enraizada na matemática: o custo computacional da autoatenção aumenta quadraticamente (O(n²)) com o número de tokens. Se uma entrada cresce de 1.000 para 10.000 tokens, o número de operações de atenção aumenta por um fator de 100. Mesmo GPUs de primeira linha podem atingir limites de memória ou tempos limite de inferência quando enfrentam essas cargas de trabalho.
Atenção achatada: perdendo o foco em contextos longos
O problema não para por aí. À medida que as sequências se estendem, os pesos de atenção do modelo tendem a se achatar — espalhando-se de forma muito uniforme pelo texto ou focando apenas no início e no fim. Essa perda de foco prejudica a precisão e a relevância, não importa quanto poder computacional você aplique.
Ineficiência em texto multimodal e estruturado
Tokens de texto também ficam aquém em tarefas com documentos multimodais ou estruturados, como PDFs, slides ou planilhas. Uma vez que o texto é tokenizado, o layout, as tabelas e a estrutura visual se perdem, embora carreguem significado crucial. Texto multilíngue adiciona outra camada de complexidade: cada idioma exige seu próprio tokenizador, com regras de segmentação únicas. E, depois de tudo isso, mesmo a compressão baseada em texto mais agressiva raramente vai além de uma modesta redução de 1–2× na contagem de tokens — longe de ser suficiente para aplicações reais de contexto longo.
DeepSeek-OCR: impulsionando o processamento de contexto longo com compressão óptica de contextos
Como discutido anteriormente, a abordagem tradicional baseada em tokens enfrenta três limites difíceis: alto custo computacional, perda de foco e perda da estrutura do documento ao lidar com texto multimodal. DeepSeek-OCR supera esses desafios transformando texto em tokens visuais — comprimindo muito mais informação em menos elementos, enquanto preserva significado e estrutura.
Então, como isso funciona? A chave está em um novo paradigma chamado Compressão Óptica de Contextos. Em vez de inserir longos fluxos de tokens de texto no modelo, o DeepSeek-OCR primeiro converte o texto em imagens e depois codifica essas imagens em tokens visuais compactos. Esse processo aborda diretamente os dois maiores pontos problemáticos nos LLMs: o alto custo computacional de contextos longos e a perda da estrutura do documento durante a tokenização.
Veja como isso funciona em três etapas:
Renderizar texto em imagens de documento estruturadas. O texto original — junto com gráficos, tabelas e equações — é renderizado em imagens que preservam o layout visual e as pistas semânticas.
Comprimir imagens em tokens visuais. Um codificador visual transforma cada imagem em uma representação compacta, reduzindo a contagem de tokens em 7–20×, e até 60× em benchmarks como OmniDocBench.
Reconstruir texto a partir de tokens visuais. Um decodificador de linguagem converte esses tokens visuais de volta em texto com mais de 97% de precisão de reconhecimento, preservando tanto o significado quanto a formatação.
Essa abordagem funciona porque imagens de documentos podem conter informações semânticas equivalentes com drasticamente menos tokens. Ao mesmo tempo, elas preservam inerentemente o layout, símbolos e outros elementos não textuais que a tokenização comum descarta. Na prática, o DeepSeek-OCR contorna as principais limitações dos LLMs baseados em texto — mantendo estrutura, semântica e eficiência ao mesmo tempo.
Por baixo dos panos, a Compressão Óptica de Contextos é impulsionada por dois componentes centrais: um DeepEncoder, que realiza a compressão de alta taxa de imagens de documentos, e um Decodificador MoE (Mixture-of-Experts), que reconstrói o conteúdo original a partir dos tokens visuais. Juntos, eles permitem que o DeepSeek-OCR processe informações de contexto longo com alta precisão e eficiência notável.
DeepEncoder: Compressão Encontra Precisão
O DeepEncoder é o núcleo da arquitetura do DeepSeek-OCR — o componente responsável por extrair recursos visuais e comprimi-los em tokens visuais compactos e ricos em informação. Ele combina precisão com eficiência por meio de uma arquitetura em três partes:
SAM-base (800M parâmetros): Usa atenção em janelas para processar imagens de documentos em alta resolução. Esse design captura detalhes finos, como caracteres e pontuação, enquanto mantém a memória de ativação sob controle.
Compressor Convolucional 16× (2 camadas): Reduz o número de tokens de imagem por um fator de 16. Por exemplo, uma imagem de 1024×1024 que inicialmente gera 4.096 tokens encolhe para apenas 256 — alcançando compressão 16× com perda mínima de qualidade.
CLIP-large (300M parâmetros): Aplica atenção global densa para manter a consistência semântica em todo o documento. Ele preserva relações como o alinhamento linha–coluna de tabelas e a estrutura de fórmulas, mesmo sob compressão agressiva.
O DeepEncoder oferece suporte a seis modos de resolução — Tiny, Small, Base, Large, Gundam e Gundam-M — gerando entre 64 e 1.853 tokens visuais dependendo dos requisitos da tarefa. Essa flexibilidade permite o gerenciamento adaptativo de contexto: compressão em baixa resolução para conteúdo mais antigo ou menos importante, e codificação em alta resolução para segmentos recentes e críticos.
Decodificador MoE: Reconstrução Eficiente e Precisa
Depois que a compressão é concluída, o Decodificador MoE (Mixture of Experts) reconstrói o texto de forma eficiente e precisa. O DeepSeek-OCR emprega o modelo DeepSeek-3B-MoE-A570M, que alcança a precisão de modelos grandes com uma fração da computação. Apenas 570M parâmetros são ativados por vez (selecionando 6 de 64 especialistas mais 2 compartilhados), alcançando uma precisão de processamento comparável à de modelos em larga escala dentro de uma estrutura de 3 bilhões de parâmetros.
O decodificador também oferece suporte ao mapeamento não linear de tokens visuais para tokens de texto, possibilitando saídas estruturadas e semanticamente ricas. Por exemplo, ele pode converter gráficos em tabelas HTML ou traduzir fórmulas químicas em strings SMILES, garantindo que dados visuais complexos sejam representados fielmente em texto.
Em termos de desempenho, o Decodificador MoE é rápido e escalável:
Processa até 90 bilhões de tokens/dia em dados de texto puro
Lida com 70 bilhões de tokens/dia em conjuntos de dados multimodais
Alcança uma taxa de transferência de 2.500 tokens por segundo em uma única GPU A100-40G
Essa combinação de eficiência de compressão, preservação estrutural e velocidade de decodificação reduz drasticamente o custo do processamento de contexto longo, mantendo uma precisão próxima à de modelos grandes.
O Que o DeepSeek-OCR Alcançou e Por Que Isso Importa
O impacto do DeepSeek-OCR vai muito além de aumentar a precisão do OCR. Por meio da compressão multimodal, ele introduz uma nova base para LLMs de contexto longo, raciocínio multimodal e compreensão de documentos multilíngues. Ao transformar texto em uma representação visual universal, o DeepSeek-OCR possibilita três avanços significativos que expandem os limites da eficiência e da versatilidade de modelos grandes.
1. Processamento de Ponta a Ponta de Documentos Mistos com Texto e Imagem
Pipelines tradicionais têm dificuldade com documentos que contêm gráficos, fórmulas ou outros elementos visuais. Normalmente, eles dependem de uma etapa separada de OCR para converter imagens em texto—frequentemente perdendo formatação, quebrando a estrutura ou introduzindo erros de reconhecimento—antes que o texto seja passado a um tokenizador para processamento adicional.
O DeepSeek-OCR elimina essa etapa intermediária frágil. Ele converte diretamente conteúdo misto de texto e gráficos em tokens visuais unificados, preservando a estrutura e a integridade visual em um fluxo de trabalho único e contínuo. Por exemplo, ao analisar um relatório financeiro com gráficos de linhas incorporados, os tokens visuais do modelo retêm as próprias tendências. O decodificador pode então gerar saídas estruturadas—como tabelas HTML editáveis ou texto formatado—em vez de strings planas.
2. Maior Universalidade no Processamento Multilíngue
Sistemas baseados em tokens exigem tokenizadores separados para cada idioma, cada um seguindo regras de segmentação diferentes—por exemplo, composição de caracteres chineses, unidades de subpalavras em inglês ou conexões da escrita árabe. Gerenciar essa complexidade torna o treinamento e a manutenção de modelos multilíngues caros e propensos a erros.
O DeepSeek-OCR resolve isso usando imagens como representação intermediária, permitindo processar mais de 100 idiomas sem distinguir entre famílias linguísticas. Isso reduz a barreira para a compreensão de documentos multilíngues, permitindo que uma única arquitetura de modelo lide perfeitamente com diversos sistemas de escrita.
3. Custos Menores e Gerenciamento de Contexto Mais Inteligente para Documentos Longos
Soluções convencionais de processamento de contexto longo—como janelas deslizantes ou atenção esparsa—otimizam a eficiência no nível dos tokens de texto, mas ainda operam dentro do gargalo computacional O(n²) da atenção. Em contraste, ao transformar texto → imagem → tokens visuais, o DeepSeek-OCR substitui a computação baseada em texto por um transportador visual de menor complexidade, reduzindo a pesada carga computacional associada a longas sequências de texto.
Esse design traz outra vantagem importante: gerenciamento adaptativo de contexto. O modelo pode alocar resolução mais alta (mais tokens visuais) para conteúdo recente e rico em detalhes, enquanto atribui resolução mais baixa (menos tokens visuais) a informações mais antigas ou menos importantes. Isso torna o DeepSeek-OCR particularmente eficaz para cenários de diálogo com múltiplos turnos, análise de documentos longos e geração aumentada por recuperação (RAG), nos quais tanto a memória quanto a precisão são críticas.
Olhando para o Futuro: Como o DeepSeek-OCR Aponta para o Futuro do RAG
DeepSeek-OCR oferece uma visão valiosa sobre para onde o RAG pode seguir a seguir. Seu princípio central—comprimir informações em tokens visuais—ecoa a lógica por trás de modelos como Sentence-BERT, que transformam texto em embeddings densos. Ambas as abordagens compartilham o mesmo objetivo: representar informações ricas e complexas em uma forma compacta e computacionalmente eficiente.
Olhando adiante, essa ideia poderia reformular fundamentalmente o RAG multimodal. Ao processar documentos que incluem gráficos, tabelas ou figuras, o DeepSeek-OCR pode pular completamente a etapa de decodificação e alimentar seus tokens visuais comprimidos diretamente em um grande modelo multimodal para raciocínio ou geração. Sistemas RAG futuros poderiam seguir um caminho semelhante—evoluindo do processo em várias etapas de hoje (busca por similaridade de embeddings → reconstrução de texto → entrada no LLM) para um pipeline mais simplificado: recuperação de embeddings → entrada direta no LLM.
Essa mudança de paradigma aborda várias das ineficiências antigas do RAG. Os sistemas atuais tokenizam texto repetidamente e regeneram embeddings para cada consulta—desperdiçando computação e introduzindo perda de informação. Esses custos se acumulam com documentos mais longos, nos quais mecanismos de atenção escalam quadraticamente com a contagem de tokens. Em contraste, se embeddings ou tokens visuais puderem ser recuperados e fornecidos diretamente ao LLM, a perda por tokenização é eliminada, e a sobrecarga computacional cai drasticamente.
Isso também permite um fluxo de trabalho offline–online mais eficiente. Embeddings podem ser gerados uma vez, armazenados em um banco de dados vetorial como Milvus, e reutilizados indefinidamente. No momento da consulta, apenas os embeddings Top-K—geralmente menos de 20—precisam ser buscados para fornecer uma fundamentação contextual precisa ao modelo.
Continue lendo
Introducing Functions and Model Inference on Zilliz Cloud: Automatic Embedding and Reranking with Hosted Models
Zilliz Cloud Functions auto-generate embeddings via OpenAI, Voyage AI, Cohere, or Zilliz Hosted Models. Built-in reranking — just insert text and search.
My Wife Wanted Dior. I Spent $600 on Claude Code to Vibe-Code a 2M-Line Database Instead.
Write tests, not code reviews. How a test-first workflow with 6 parallel Claude Code sessions turns a 2M-line C++ codebase into a daily shipping pipeline.
The Great AI Agent Protocol Race: Function Calling vs. MCP vs. A2A
Compare Function Calling, MCP, and A2A protocols for AI agents. Learn which standard best fits your development needs and future-proof your applications.