DeepSeek-OCR expliqué : compression optique pour les systèmes RAG et à long contexte évolutifs
Les grands modèles de langage (LLMs) rencontrent encore des difficultés lorsqu’ils traitent de longs contextes. Le traitement de longs textes consomme beaucoup de puissance de calcul, augmente la latence et réduit souvent la qualité des sorties. Malgré de nombreux efforts d’optimisation, les résultats sont restés insatisfaisants.
Pour résoudre ce problème, DeepSeek a introduit DeepSeek-OCR, un modèle open source qui compresse les longs contextes à l’aide du mappage optique 2D. Au lieu d’injecter du texte brut dans le modèle, il convertit les pages de texte en images et traite ces images comme des tokens visuels. Une image peut contenir autant d’informations que des milliers de tokens de texte, ce qui permet au modèle de traiter de longs documents avec beaucoup moins de ressources.
L’idée est à la fois ingénieuse et simple. En utilisant des représentations visuelles, DeepSeek-OCR maintient une grande précision tout en réduisant le calcul. Cela pourrait marquer un tournant — non seulement pour la gestion des longs contextes par les LLMs, mais aussi pour les systèmes RAG, qui se heurtent depuis longtemps à des coûts élevés et à des fenêtres de contexte limitées.
Dans les sections suivantes, j’expliquerai comment fonctionne DeepSeek-OCR et j’explorerai comment cette approche de « compression optique » pourrait façonner la prochaine génération de LLMs et de systèmes RAG.
La manière traditionnelle dont les LLMs traitent le texte — et ses principales limites
Pour comprendre pourquoi DeepSeek-OCR est si important, il est utile de commencer par comprendre comment les grands modèles de langage (LLMs) traitent traditionnellement le texte et quelles sont leurs limites. Les LLMs ne lisent pas les mots ou les phrases comme le font les humains : ils traitent des tokens, qui sont de petites unités de texte, comme des mots, des sous-mots, voire des caractères. Lorsqu’un modèle reçoit une entrée, il convertit le texte en une longue séquence de ces tokens. Le mécanisme d’auto-attention compare ensuite chaque token avec tous les autres tokens afin de comprendre le contexte et le sens. Cette méthode fonctionne bien pour de courts passages, mais devient rapidement inefficace à mesure que la séquence s’allonge.
Coûts de calcul quadratiques
Cette inefficacité trouve son origine dans les mathématiques : le coût computationnel de l’auto-attention augmente quadratiquement (O(n²)) avec le nombre de tokens. Si une entrée passe de 1 000 à 10 000 tokens, le nombre d’opérations d’attention augmente d’un facteur 100. Même les GPU haut de gamme peuvent atteindre leurs limites de mémoire ou subir des expirations de délai d’inférence face à de telles charges de travail.
Attention aplatie : perte de focalisation dans les longs contextes
Le problème ne s’arrête pas là. À mesure que les séquences s’allongent, les poids d’attention du modèle ont tendance à s’aplatir — en se répartissant trop uniformément sur le texte ou en se concentrant uniquement sur le début et la fin. Cette perte de focalisation nuit à la précision et à la pertinence, quelle que soit la quantité de calcul que vous y consacrez.
Inefficacité dans le texte multimodal et structuré
Les tokens de texte montrent également leurs limites dans les tâches de documents multimodaux ou structurés, comme les PDF, les diapositives ou les feuilles de calcul. Une fois le texte tokenisé, la mise en page, les tableaux et la structure visuelle sont perdus, alors même qu’ils portent un sens crucial. Le texte multilingue ajoute une autre couche de complexité : chaque langue nécessite son propre tokenizer avec des règles de segmentation uniques. Et après tout cela, même la compression textuelle la plus agressive dépasse rarement une réduction modeste de 1 à 2× du nombre de tokens — bien loin de ce qui est nécessaire pour de véritables applications à long contexte.
DeepSeek-OCR : alimenter le traitement à long contexte grâce à la compression optique des contextes
Comme indiqué précédemment, l’approche traditionnelle fondée sur les tokens se heurte à trois limites majeures : un coût computationnel élevé, une perte de focalisation et une perte de la structure du document lors du traitement de texte multimodal. DeepSeek-OCR surmonte ces défis en transformant le texte en tokens visuels — en compressant bien plus d’informations dans moins d’éléments tout en préservant le sens et la structure.
Alors, comment cela fonctionne-t-il ? La clé réside dans un nouveau paradigme appelé Contexts Optical Compression. Au lieu d’injecter de longs flux de jetons textuels dans le modèle, DeepSeek-OCR convertit d’abord le texte en images, puis encode ces images en jetons visuels compacts. Ce processus répond directement aux deux plus grands points sensibles des LLM : le coût computationnel élevé des longs contextes et la perte de structure des documents lors de la tokenisation.
Voici comment cela fonctionne en trois étapes :
Rendre le texte sous forme d’images de documents structurées. Le texte original — avec les graphiques, tableaux et équations — est rendu sous forme d’images qui préservent la mise en page visuelle et les indices sémantiques.
Compresser les images en jetons visuels. Un encodeur visuel transforme chaque image en une représentation compacte, réduisant le nombre de jetons de 7 à 20×, et jusqu’à 60× sur des benchmarks tels que OmniDocBench.
Reconstruire le texte à partir des jetons visuels. Un décodeur de langage reconvertit ces jetons visuels en texte avec une précision de reconnaissance supérieure à 97 %, en conservant à la fois le sens et la mise en forme.
Cette approche fonctionne parce que les images de documents peuvent contenir une information sémantique équivalente avec beaucoup moins de jetons. En même temps, elles préservent intrinsèquement la mise en page, les symboles et d’autres éléments non textuels que la tokenisation ordinaire élimine. En pratique, DeepSeek-OCR contourne les limites fondamentales des LLM basés sur le texte — en maintenant simultanément la structure, la sémantique et l’efficacité.
Sous le capot, Contexts Optical Compression repose sur deux composants centraux : un DeepEncoder, qui effectue une compression à haut ratio des images de documents, et un décodeur MoE (Mixture-of-Experts), qui reconstruit le contenu original à partir des jetons visuels. Ensemble, ils permettent à DeepSeek-OCR de traiter des informations à long contexte avec une grande précision et une efficacité remarquable.
DeepEncoder : Quand la compression rencontre la précision
Le DeepEncoder est le cœur de l’architecture de DeepSeek-OCR — le composant chargé d’extraire les caractéristiques visuelles et de les compresser en jetons visuels compacts et riches en informations. Il combine précision et efficacité grâce à une architecture en trois parties :
SAM-base (800M paramètres) : Utilise l’attention fenêtrée pour traiter des images de documents haute résolution. Cette conception capture les détails fins tels que les caractères et la ponctuation tout en maintenant la mémoire d’activation sous contrôle.
Compresseur convolutionnel 16× (2 couches) : Réduit le nombre de jetons d’image d’un facteur 16. Par exemple, une image 1024×1024 qui génère initialement 4 096 jetons est réduite à seulement 256 — atteignant une compression 16× avec une perte de qualité minimale.
CLIP-large (300M paramètres) : Applique une attention globale dense pour maintenir la cohérence sémantique à l’échelle de tout le document. Il préserve les relations telles que l’alignement lignes-colonnes des tableaux et la structure des formules, même sous compression agressive.
Le DeepEncoder prend en charge six modes de résolution — Tiny, Small, Base, Large, Gundam et Gundam-M — générant entre 64 et 1 853 jetons visuels selon les exigences de la tâche. Cette flexibilité permet une gestion adaptative du contexte : compression basse résolution pour le contenu plus ancien ou moins important, et encodage haute résolution pour les segments récents et critiques.
Décodeur MoE : Reconstruction efficace et précise
Une fois la compression terminée, le décodeur MoE (Mixture of Experts) reconstruit le texte efficacement et avec précision. DeepSeek-OCR emploie le modèle DeepSeek-3B-MoE-A570M, qui atteint une précision de grand modèle avec une fraction du calcul. Seuls 570M paramètres sont activés à la fois (en sélectionnant 6 experts sur 64 plus 2 experts partagés), atteignant une précision de traitement comparable à celle des modèles à grande échelle dans un cadre à 3 milliards de paramètres.
Le décodeur prend également en charge la correspondance non linéaire des jetons visuels vers les jetons textuels, permettant des sorties structurées et sémantiquement riches. Par exemple, il peut convertir des graphiques en tableaux HTML ou traduire des formules chimiques en chaînes SMILES, garantissant que des données visuelles complexes sont fidèlement représentées sous forme de texte.
En matière de performance, le décodeur MoE est à la fois rapide et évolutif :
Traite jusqu’à 90 milliards de jetons/jour sur des données purement textuelles
Gère 70 milliards de jetons/jour sur des jeux de données multimodaux
Atteint un débit de 2 500 jetons par seconde sur un seul GPU A100-40G
Cette combinaison d’efficacité de compression, de préservation structurelle et de vitesse de décodage réduit considérablement le coût du traitement de longs contextes tout en maintenant une précision proche de celle des grands modèles.
Ce que DeepSeek-OCR a accompli et pourquoi c’est important
L’impact de DeepSeek-OCR va bien au-delà de l’amélioration de la précision de l’OCR. Grâce à la compression intermodale, il introduit une nouvelle fondation pour les LLM à long contexte, le raisonnement multimodal et la compréhension de documents multilingues. En transformant le texte en une représentation visuelle universelle, DeepSeek-OCR débloque trois avancées majeures qui repoussent les limites de l’efficacité et de la polyvalence des grands modèles.
1. Traitement de bout en bout des documents mixtes texte-image
Les pipelines traditionnels peinent avec les documents qui contiennent des graphiques, des formules ou d’autres éléments visuels. En général, ils reposent sur une étape OCR distincte pour convertir les images en texte — perdant souvent la mise en forme, rompant la structure ou introduisant des erreurs de reconnaissance — avant que le texte ne soit transmis à un tokenizer pour un traitement ultérieur.
DeepSeek-OCR élimine cette étape intermédiaire fragile. Il convertit directement le contenu mixte texte-et-graphique en jetons visuels unifiés, préservant la structure et l’intégrité visuelle dans un flux de travail unique et continu. Par exemple, lors de l’analyse d’un rapport financier avec des graphiques linéaires intégrés, les jetons visuels du modèle conservent les tendances elles-mêmes. Le décodeur peut ensuite générer des sorties structurées — comme des tableaux HTML éditables ou du texte formaté — plutôt que de simples chaînes plates.
2. Une plus grande universalité dans le traitement multilingue
Les systèmes fondés sur les jetons nécessitent des tokenizers distincts pour chaque langue, chacun suivant des règles de segmentation différentes — par exemple, la composition des caractères chinois, les unités de sous-mots en anglais ou les connexions de l’écriture arabe. La gestion de cette complexité rend l’entraînement et la maintenance des modèles multilingues à la fois coûteux et sujets aux erreurs.
DeepSeek-OCR résout ce problème en utilisant les images comme représentation intermédiaire, ce qui lui permet de traiter plus de 100 langues sans distinguer les familles linguistiques. Cela abaisse la barrière à la compréhension de documents multilingues, permettant à une architecture de modèle unique de gérer de manière fluide des systèmes d’écriture divers.
3. Des coûts réduits et une gestion du contexte plus intelligente pour les documents longs
Les solutions conventionnelles de traitement de longs contextes — comme les fenêtres glissantes ou l’attention creuse — optimisent l’efficacité au niveau des jetons textuels, mais elles fonctionnent toujours dans le goulot d’étranglement computationnel O(n²) de l’attention. En revanche, en transformant texte → image → jetons visuels, DeepSeek-OCR remplace le calcul fondé sur le texte par un support visuel de plus faible complexité, réduisant la lourde charge computationnelle associée aux longues séquences de texte.
Cette conception apporte un autre avantage important : la gestion adaptative du contexte. Le modèle peut allouer une résolution plus élevée (davantage de jetons visuels) au contenu récent et riche en détails, tout en attribuant une résolution plus faible (moins de jetons visuels) aux informations plus anciennes ou moins importantes. Cela rend DeepSeek-OCR particulièrement efficace pour les scénarios de dialogue multi-tours, d’analyse de documents longs et de génération augmentée par récupération (RAG), où la mémoire et la précision sont toutes deux essentielles.
Perspectives : comment DeepSeek-OCR préfigure l’avenir du RAG
DeepSeek-OCR offre un aperçu précieux de la direction que pourrait prendre RAG. Son principe fondamental — compresser l’information en tokens visuels — fait écho à la logique derrière des modèles comme Sentence-BERT, qui transforment le texte en embeddings denses. Les deux approches partagent le même objectif : représenter des informations riches et complexes sous une forme compacte et efficace sur le plan computationnel.
À l’avenir, cette idée pourrait transformer fondamentalement le RAG multimodal. Lors du traitement de documents contenant des graphiques, des tableaux ou des figures, DeepSeek-OCR peut ignorer entièrement l’étape de décodage et fournir directement ses tokens visuels compressés à un grand modèle multimodal pour le raisonnement ou la génération. Les futurs systèmes RAG pourraient suivre une voie similaire — en passant du processus en plusieurs étapes actuel (recherche de similarité d’embeddings → reconstruction de texte → entrée LLM) à un pipeline plus rationalisé : récupération d’embeddings → entrée LLM directe.
Ce changement de paradigme répond à plusieurs inefficacités de longue date de RAG. Les systèmes actuels tokenisent à plusieurs reprises le texte et régénèrent des embeddings pour chaque requête — gaspillant des ressources de calcul et introduisant une perte d’information. Ces coûts s’accumulent avec les documents plus longs, où les mécanismes d’attention évoluent de manière quadratique avec le nombre de tokens. À l’inverse, si des embeddings ou des tokens visuels peuvent être récupérés et fournis directement au LLM, la perte liée à la tokenisation est éliminée, et la surcharge de calcul diminue considérablement.
Cela permet également un workflow offline–online plus efficace. Les embeddings peuvent être générés une seule fois, stockés dans une base de données vectorielle telle que Milvus, puis réutilisés indéfiniment. Au moment de la requête, seuls les embeddings Top-K — souvent moins de 20 — doivent être récupérés afin de fournir au modèle un ancrage contextuel précis.
Continuer à lire
Introducing Functions and Model Inference on Zilliz Cloud: Automatic Embedding and Reranking with Hosted Models
Zilliz Cloud Functions auto-generate embeddings via OpenAI, Voyage AI, Cohere, or Zilliz Hosted Models. Built-in reranking — just insert text and search.
Creating Collections in Zilliz Cloud Just Got Way Easier
We've enhanced the entire collection creation experience to bring advanced capabilities directly into the interface, making it faster and easier to build production-ready schemas without switching tools.
Why Deepseek is Waking up AI Giants Like OpenAI And Why You Should Care
Discover how DeepSeek R1's open-source AI model with superior reasoning capabilities and lower costs is disrupting the AI landscape and challenging tech giants like OpenAI.