Por que o DeepSeek V3 está conquistando o mundo da IA: a perspectiva de um desenvolvedor
Um dos objetivos finais de todos os Large Language Models (LLMs) que usamos atualmente é ser capaz de compreender e realizar qualquer tarefa intelectual que um ser humano possa. Esse conceito é comumente chamado de Artificial General Intelligence (AGI). A corrida rumo à AGI impulsionou desenvolvimentos rápidos em muitos LLMs de desenvolvedores de IA líderes mundiais, como OpenAI, Meta, Google, Anthropic e Qwen.
Recentemente, novos LLMs desenvolvidos pela DeepSeek geraram enorme entusiasmo dentro da comunidade de IA devido à combinação de desempenho e custo operacional. Por exemplo, afirma-se que o modelo DeepSeek R1 tem desempenho semelhante ao modelo de raciocínio mais avançado da OpenAI até hoje, o modelo o1, com apenas uma fração do custo de treinamento. Enquanto isso, o desempenho do modelo DeepSeek V3 é comparável ao do GPT-4o e também custa apenas uma fração do custo de treinamento. Ao contrário da OpenAI, a DeepSeek decidiu tornar seus modelos totalmente open-source, permitindo que toda a comunidade de IA tenha acesso aos pesos dos modelos da DeepSeek. Isso acelerará ainda mais o processo rumo à AGI.
Este artigo discutirá vários recursos inovadores do modelo DeepSeek, especificamente o DeepSeek V3, que tornam o desempenho desse LLM comparável aos modelos closed-source de última geração mais recentes disponíveis. Então, sem mais delongas, vamos explorar o primeiro recurso inovador essencial.
Recurso Um: Multi Head Latent Attention
Em sua essência, o DeepSeek V3 ainda adota a arquitetura clássica de Transformers. Ele consiste em um número enorme de blocos Transformer, em que cada bloco contém várias camadas importantes: normalização, atenção e camadas feed-forward, como você pode ver na visualização a seguir:
Visualização de um único bloco Transformer.
Nesta seção, vamos nos concentrar apenas na camada de atenção, pois é nela que reside a Multi-head Latent Attention (MLA) do modelo DeepSeek V3.
Em resumo, uma camada de atenção espera como entrada a representação de embedding de um token em uma posição específica. O primeiro passo da camada de atenção é projetar esse embedding de entrada em vetores de query, key e value usando três matrizes de pesos aprendidas. A camada então usará esses valores para estimar o contexto desse token específico em relação aos tokens anteriores, um processo comumente chamado de mecanismo de atenção.
No entanto, a forma como o mecanismo de atenção é calculado apresenta uma desvantagem significativa. Como você talvez já saiba, os LLMs geram um token por vez em uma sequência, e um novo token sempre depende dos tokens gerados anteriormente. Portanto, para estimar o contexto de um novo token, a atenção dos tokens anteriores precisa ser recalculada. Por exemplo, gerar o token número 50 exige o recálculo da atenção dos tokens 1 a 49 todas as vezes. Isso resulta em um processo de geração de tokens muito lento durante a inferência.
Gerenciamento de KV Cache no vLLM. Fonte.
Para resolver esse problema, uma abordagem chamada KV cache normalmente é implementada em LLMs para acelerar o processo de geração de tokens. Como o nome sugere, com o KV cache, a key e o value de um novo token são armazenados em um cache durante cada processo de geração. Portanto, durante o cálculo de atenção de um novo token, usamos a key e o value em cache dos tokens anteriores em vez de recalcular tudo do zero. Isso acelera efetivamente o processo de geração de tokens.
O DeepSeek V3 também utiliza cache KV em sua camada de atenção. Na verdade, ele avança ainda mais a abordagem com a introdução do MLA. Em essência, o MLA comprime a dimensão do embedding de entrada em sua representação de baixa classificação, removendo elementos redundantes. Como resultado dessa compressão, o tamanho dos vetores de chave, valor e consulta torna-se ainda menor, otimizando assim a memória para o cache KV e acelerando o processo de geração de tokens.
Arquitetura do DeepSeek V3 em um único bloco Transformer. Fonte.
Como você pode ver na figura acima, a abordagem comprime conjuntamente chave e valor em sua representação de baixa classificação. Essa versão comprimida do vetor chave-valor pode então ser armazenada em cache de forma semelhante ao cache KV normal.
Enquanto isso, a consulta é comprimida independentemente. Uma vez comprimida, a representação de baixa classificação do vetor de consulta é então processada por dois pipelines diferentes: um é projetado diretamente com uma camada para mapeá-lo de volta à sua representação de alta dimensão, e outro é processado por uma abordagem chamada Rotary Positional Embedding (RoPE). O método RoPE é importante para introduzir informações posicionais do novo token em uma sequência. As saídas desses dois pipelines são então concatenadas em uma entrada final para a camada de atenção multi-head.
O vetor chave-valor comprimido conjuntamente também passa por um processo semelhante ao vetor de consulta. No entanto, a entrada para o RoPE do vetor de chave vem do embedding de entrada original em vez do vetor chave-valor comprimido.
Recurso Dois: DeepSeek MoE
Outra abordagem fascinante implementada no DeepSeek V3 é a abordagem Mixture of Experts (MoE). Como você pode ver na imagem acima, esse método é implementado no DeepSeek V3 como substituto da rede feed-forward original no bloco Transformers.
Vamos usar um exemplo para entender facilmente o que o MoE faz. Imagine que estamos estudando em uma universidade com muitos professores, cada um especialista em uma disciplina diferente (matemática, física, literatura). Quando queremos perguntar algo sobre cálculo, seremos encaminhados ao professor de matemática. Da mesma forma, se quisermos perguntar algo sobre física quântica, seremos encaminhados ao professor de física.
O MoE funciona de maneira semelhante. Ele consiste em muitos modelos, cada um com sua própria expertise para resolver um problema específico.
Durante a fase de treinamento, cada modelo recebe dados diferentes de um domínio específico, de modo que eles se tornam especialistas em resolver tarefas daquele domínio. Então, durante a inferência, em vez de depender de um único modelo massivo para lidar com todos os domínios de um problema, o MoE atribuirá a consulta aos modelos especialistas mais capazes. Essa abordagem torna a inferência mais rápida e eficiente, já que apenas um pequeno número de modelos especialistas será ativado durante a previsão, dependendo da tarefa.
MoE no DeepSeek V3. Fonte.
Um elemento importante em uma abordagem MoE é a rede de gating. Essa rede tem duas responsabilidades principais: analisar a consulta de entrada e, em seguida, encaminhá-la aos modelos especialistas mais apropriados. No entanto, um problema comum em relação ao treinamento de MoE é a questão do balanceamento de carga, em que a rede de gating continua encaminhando todos os dados de treinamento para um modelo específico em vez de distribuí-los para outros modelos.
Implementar uma perda auxiliar ajuda a forçar a rede de gating a aprender a distribuir os dados de treinamento para diferentes modelos. O problema é que depender apenas da perda auxiliar demonstrou degradar o desempenho do modelo após o treinamento.
Para introduzir um trade-off entre balanceamento de carga e desempenho do modelo, o DeepSeek V3 implementou uma estratégia de balanceamento de carga sem perda auxiliar. Essa estratégia introduz um termo de viés para cada modelo especialista que será ajustado dinamicamente dependendo da carga de roteamento do especialista correspondente. Isso garante que nenhum modelo especialista fique sobrecarregado ou subutilizado.
Além disso, como você pode ver na visualização acima, o DeepSeek V3 projetou certos especialistas para serem "especialistas compartilhados", e esses especialistas estão sempre ativos para várias tarefas. Essa implementação ajuda a melhorar a capacidade do modelo de generalizar em diferentes domínios de tarefas.
Esse recurso MoE é a receita secreta por trás da versatilidade do DeepSeek V3. Como você verá na próxima seção, o DeepSeek V3 é altamente performático em várias tarefas com diferentes domínios, como matemática, programação, linguagem etc. Na verdade, este modelo é atualmente o modelo base open-source mais forte em vários domínios.
Recurso Três: Previsões de Múltiplos Tokens
LLMs comuns preveem um token em cada etapa de decodificação, mas o DeepSeek V3 opera de forma diferente, especialmente em sua fase de treinamento. O DeepSeek V3 implementa as chamadas previsões de múltiplos tokens (MTP) durante o treinamento, o que permite que o modelo preveja vários tokens futuros em cada etapa de decodificação.
Embora adicione camadas de complexidade, a abordagem MTP é importante para melhorar o desempenho do modelo em diferentes tarefas. Como você pode imaginar, ao observar possíveis tokens futuros vários passos à frente em uma única etapa de decodificação, o modelo é capaz de aprender a melhor solução possível para qualquer tarefa dada.
Visualização da abordagem MTP no DeepSeek V3. Fonte.
Para implementar MTP, o DeepSeek V3 adota mais de um modelo, cada um consistindo em um conjunto de camadas Transformer. Um modelo atua como o modelo principal, enquanto os outros atuam como módulos MTP. Embora isso não seja claramente definido, o modelo MTP é comumente menor em tamanho em comparação com o modelo principal (o tamanho total do modelo DeepSeek V3 no HuggingFace é 685B, com 671B do modelo principal e 14B do módulo MTP).
Durante a fase de treinamento, tanto o modelo principal quanto os módulos MTP recebem entrada da mesma camada de embedding. No entanto, a implementação ainda precisa ser feita em sequência, ou seja, o modelo principal deve ir primeiro prevendo o token um passo à frente e, depois disso, o primeiro módulo MTP preverá o token dois passos à frente. Esse processo continua dependendo do número de módulos MTP. Depois de prever os tokens, tanto o modelo principal quanto os módulos MTP usarão a mesma cabeça de saída.
Podemos ser totalmente flexíveis com o módulo MTP durante a fase de inferência. Por exemplo, podemos descartar completamente o módulo MTP e usar apenas o modelo principal durante a inferência, assim como LLMs comuns. Além disso, podemos usar o módulo MTP para implementar uma abordagem de decodificação especulativa para potencialmente acelerar ainda mais o processo de geração.
Custo e Desempenho do DeepSeek V3 Comparados a Outros Modelos
Todos os recursos inovadores mencionados acima permitiram que o modelo DeepSeek V3 fosse treinado de forma muito mais barata do que seus concorrentes de código fechado.
O DeepSeek V3 foi treinado em um cluster com 2.048 GPUs NVIDIA H800. A fase de pré-treinamento do modelo DeepSeek V3 custou cerca de 0.01M, elevando o total para 100M](https://www.wired.com/story/openai-ceo-sam-altman-the-age-of-giant-ai-models-is-already-over/).
O DeepSeek V3 também apresentou desempenho superior em comparação com outros LLMs open-source e de código fechado, como Qwen2.5 72B, Llama 3.1 405B, Claude 3.5 Sonnet e ChatGPT 4o em diferentes benchmarks, como você pode ver na figura abaixo:
Comparação entre o DeepSeek-V3 e outros modelos de chat de última geração. Fonte.
O desempenho do DeepSeek V3 provou ser superior em comparação com outros modelos de última geração em várias tarefas, como programação, matemática e chinês. Seu desempenho em tarefas em inglês mostrou resultados comparáveis aos do Claude 3.5 Sonnet em vários benchmarks.
Além disso, o desempenho do DeepSeek V3 foi comparado com outros LLMs em tarefas de geração aberta usando o GPT-4-Turbo-1106 como juiz e a taxa de vitória controlada por comprimento como métrica. Como resultado, o DeepSeek V3 demonstrou o melhor desempenho em comparação com os outros nos benchmarks Arena-Hard e AlpacaEval 2.0.
Comparação entre o DeepSeek-V3 e outros modelos de chat de última geração nos benchmarks AlpacaEval 2.0 e Arena-Hard. Fonte.
O desempenho superior do DeepSeek V3 nos benchmarks Arena-Hard e AlpacaEval 2.0 demonstra sua capacidade e robustez ao lidar com prompts longos e complexos, bem como com tarefas de escrita e cenários simples de perguntas e respostas.
Como os desenvolvedores podem aproveitar o DeepSeek V3
Além de seu desempenho, outro grande atrativo do modelo DeepSeek V3 é sua natureza de código aberto. A DeepSeek decidiu tornar o modelo V3 open-source sob a licença MIT, o que significa que os desenvolvedores podem ter acesso gratuito aos seus pesos e usá-lo para seus próprios fins, até mesmo para uso comercial.
Podemos usá-lo para vários casos de uso de GenAI, desde recomendações personalizadas e geração de conteúdo até assistentes virtuais, chatbots internos, sumarização de documentos e muitos outros. Esses casos de uso também nos permitem combinar o poder do DeepSeek V3 com o Milvus, um banco de dados vetorial de código aberto, para armazenar bilhões de embeddings de contexto.
No momento em que este artigo foi escrito, o DeepSeek V3 ainda não havia sido integrado ao Hugging Face. No entanto, espere que ele seja integrado muito em breve para que você possa usar e executar o modelo localmente de forma fácil. Enquanto aguardamos a integração oficial com o Hugging Face, você pode executar o DeepSeek V3 de várias maneiras.
A maneira mais fácil de experimentar o DeepSeek V3 é por meio da plataforma oficial de chat da DeepSeek. Tudo o que você precisa fazer é se cadastrar e começar a conversar com o modelo.
Se você quiser executá-lo localmente em sua máquina, primeiro precisará clonar o repositório oficial do DeepSeek V3 com o seguinte comando:
git clone <https://github.com/deepseek-ai/DeepSeek-V3.git>
Em seguida, vá para a pasta inference e instale todas as dependências necessárias executando os seguintes comandos:
cd DeepSeek-V3/inference
pip install -r requirements.txt
Em seguida, você precisa baixar os pesos do modelo. Há dois pesos de modelo disponíveis no HuggingFace: a versão base (somente após a fase de pré-treinamento) e a versão de chat (após a fase de pós-treinamento). Baixe a versão do modelo que preferir e, em seguida, coloque os pesos dentro da pasta /path/to/DeepSeek-V3.
Agora você pode converter os pesos do modelo HuggingFace para um formato específico com o seguinte comando:
python convert.py --hf-ckpt-path /path/to/DeepSeek-V3 --save-path /path/to/DeepSeek-V3-Demo --n-experts 256 --model-parallel 16
E, finalmente, você pode executar este comando para começar a conversar com o DeepSeek V3:
torchrun --nnodes 2 --nproc-per-node 8 generate.py --node-rank $RANK --master-addr $ADDR --ckpt-path /path/to/DeepSeek-V3-Demo --config configs/config_671B.json --interactive --temperature 0.7 --max-new-tokens 200
Uma forma alternativa de começar a usar o DeepSeek V3 é por meio de vários frameworks de serving otimizados para LLM, como vLLM, SGLang, LMDeploy e TensorRT-LLM.
Perspectivas Futuras Após o DeepSeek V3
A introdução do DeepSeek V3 pode ser vista como um avanço significativo em muitos aspectos. Muitas inovações implementadas na fase de treinamento do DeepSeek V3, como MLA, MoE, MTP e treinamento de precisão mista com quantização FP8, abriram um caminho para desenvolvermos um LLM que não seja apenas performático e eficiente, mas também significativamente mais barato de treinar.
A implementação de MLA, MoE e MTP contribui para acelerar o processo de geração de tokens durante a inferência de diferentes maneiras:
MLA nos permite economizar memória de cache KV e acelerar a geração de tokens ao comprimir a dimensão das representações de entrada em sua representação de baixo posto.
MoE acelera o processo de geração de tokens e melhora a escalabilidade do modelo ao ativar apenas determinados especialistas durante a inferência, dependendo da tarefa. Em vez de ativar todos os 671B parâmetros durante a inferência, o modelo ativará apenas uma pequena fração deles (cerca de 37B).
MTP pode ser reaproveitado durante a inferência para facilitar uma abordagem de decodificação especulativa. Com essa abordagem, a previsão do próximo token pode começar a partir de possíveis tokens futuros previstos pelos módulos MTP, em vez de prevê-lo do zero.
O fato de a DeepSeek ter escolhido disponibilizar o DeepSeek V3 como open-source sob a licença MIT também incentiva a nós, a comunidade global de IA, a contribuir, experimentar e desenvolver com base em sua tecnologia. Isso, por sua vez, coloca todos nós no ciclo de inovação mais rápida rumo ao objetivo de alcançar uma AGI que beneficie a todos nós.
Embora seu desempenho já seja superior em comparação com outros LLMs de ponta, pesquisas sugerem que o desempenho do DeepSeek V3 pode ser ainda mais aprimorado no futuro.
Anteriormente, a equipe da DeepSeek conduziu pesquisas sobre a destilação do poder de raciocínio de seu modelo mais poderoso, o DeepSeek R1, para o modelo DeepSeek V2.5. Se você não está familiarizado com isso, destilação refere-se ao processo de transferir o conhecimento de um modelo maior e mais performático para um menor.
O DeepSeek V2.5 apresentou melhorias significativas nos benchmarks LiveCodeBench e MATH-500 quando apresentado a dados adicionais de destilação do modelo R1, embora isso também tenha vindo com uma desvantagem óbvia: um aumento no comprimento médio das respostas.
A contribuição da destilação do DeepSeek-R1 no DeepSeek V2.5. Fonte.
Ainda assim, esta pesquisa mostra que a mesma técnica de destilação de conhecimento também pode ser aplicada ao DeepSeek V3 no futuro para otimizar ainda mais seu desempenho em vários domínios de dados.
Conclusão
O DeepSeek V3 representa um grande passo à frente no campo da IA open-source. Ele oferece um desempenho comparável ao dos principais modelos closed-source por apenas uma fração dos custos de treinamento. Seus recursos inovadores, incluindo Multi-Head Latent Attention (MLA), Mixture of Experts (MoE) e Multi-Token Predictions (MTP), contribuem tanto para a eficiência quanto para a precisão durante as fases de treinamento e inferência. Além disso, sua natureza open-source sob a licença MIT permite que a comunidade de IA desenvolva com base em seus avanços, acelerando assim o progresso rumo à AGI.
Olhando para o futuro, o impacto do DeepSeek V3 pode ser ainda mais poderoso. A possível aplicação de técnicas de destilação de conhecimento, conforme explorado anteriormente pelo DeepSeek R1 e pelo DeepSeek V2.5, sugere espaço para mais otimização e melhorias de eficiência. Podemos dizer que o DeepSeek V3 estabelece um novo padrão para a pesquisa em IA econômica e de alto desempenho.
Continue lendo
How to Choose the Best Embedding Model for RAG in 2026: 10 Models Benchmarked
We benchmarked 10 embedding models on cross-modal, cross-lingual, long-document, and dimension compression tasks. See which one fits your RAG pipeline.
Announcing the General Availability of Single Sign-On (SSO) on Zilliz Cloud
SSO is GA on Zilliz Cloud, delivering the enterprise-grade identity management capabilities your teams need to deploy vectorDB with confidence.
Zilliz Named "Highest Performer" and "Easiest to Use" in G2's Summer 2025 Grid® Report for Vector Databases
Zilliz shines in G2's Summer 2025 Grid® Report as both "Highest Performer" and "Easiest to Use," solving the performance-usability dilemma.