Warum DeepSeek V3 die KI-Welt im Sturm erobert: Die Perspektive eines Entwicklers
Eines der Endziele aller Large Language Models (LLMs), die wir heutzutage verwenden, ist es, in der Lage zu sein, jede intellektuelle Aufgabe zu verstehen und auszuführen, die ein Mensch bewältigen kann. Dieses Konzept wird allgemein als Artificial General Intelligence (AGI) bezeichnet. Der Wettlauf in Richtung AGI hat rasante Entwicklungen bei vielen LLMs von weltweit führenden KI-Entwicklern wie OpenAI, Meta, Google, Anthropic und Qwen ausgelöst.
Kürzlich haben neue, von DeepSeek entwickelte LLMs aufgrund ihrer Kombination aus Leistung und Betriebskosten einen massiven Hype innerhalb der KI-Community ausgelöst. Zum Beispiel wird behauptet, dass das DeepSeek R1-Modell ähnlich gut abschneidet wie OpenAIs bislang fortschrittlichstes Reasoning-Modell, das o1-Modell, und das bei nur einem Bruchteil der Trainingskosten. Gleichzeitig ist die Leistung des DeepSeek V3-Modells mit GPT-4o vergleichbar und liegt ebenfalls nur bei einem Bruchteil der Trainingskosten. Anders als OpenAI hat DeepSeek beschlossen, seine Modelle vollständig als Open Source bereitzustellen, wodurch die gesamte KI-Community Zugang zu den Modellgewichten von DeepSeek erhält. Dies wird den Prozess in Richtung AGI noch weiter beschleunigen.
Dieser Artikel wird mehrere innovative Funktionen des DeepSeek-Modells, insbesondere DeepSeek V3, besprechen, die dafür sorgen, dass die Leistung dieses LLM mit den neuesten verfügbaren, proprietären State-of-the-Art-Modellen vergleichbar ist. Also, ohne weitere Umschweife, lassen Sie uns die erste zentrale innovative Funktion erkunden.
Funktion Eins: Multi Head Latent Attention
Im Kern übernimmt DeepSeek V3 weiterhin die klassische Transformers-Architektur. Es besteht aus einer enormen Anzahl von Transformer-Blöcken, wobei jeder Block mehrere wichtige Schichten enthält: Normalisierungs-, Attention- und Feed-Forward-Schichten, wie Sie in der folgenden Visualisierung sehen können:
Visualisierung eines einzelnen Transformer-Blocks.
In diesem Abschnitt konzentrieren wir uns ausschließlich auf die Attention-Schicht, da sich hier die Multi-head Latent Attention (MLA) des DeepSeek V3-Modells befindet.
Kurz gesagt erwartet eine Attention-Schicht die Embedding-Darstellung eines Tokens an einer bestimmten Position als Eingabe. Der erste Schritt der Attention-Schicht besteht darin, dieses Eingabe-Embedding mithilfe von drei gelernten Gewichtungsmatrizen in Query-, Key- und Value-Vektoren zu projizieren. Die Schicht verwendet diese Werte dann, um den Kontext dieses bestimmten Tokens in Bezug auf die vorherigen Tokens abzuschätzen, ein Prozess, der allgemein als Attention-Mechanismus bezeichnet wird.
Die Art und Weise, wie der Attention-Mechanismus berechnet wird, bringt jedoch einen erheblichen Nachteil mit sich. Wie Sie vielleicht bereits wissen, generieren LLMs jeweils ein Token nach dem anderen in einer Sequenz, und ein neues Token hängt immer von den zuvor generierten Tokens ab. Daher muss zur Abschätzung des Kontexts eines neuen Tokens die Attention der vorherigen Tokens neu berechnet werden. Beispielsweise erfordert die Generierung von Token Nummer 50 jedes Mal eine Neuberechnung der Attention der Tokens 1 bis 49. Dies führt während der Inferenz zu einem sehr langsamen Token-Generierungsprozess.
KV-Cache-Verwaltung in vLLM. Quelle.
Um dieses Problem zu lösen, wird in LLMs normalerweise ein Ansatz namens KV-Cache implementiert, um den Token-Generierungsprozess zu beschleunigen. Wie der Name schon sagt, werden beim KV-Cache der Key und der Value eines neuen Tokens während jedes Generierungsprozesses in einem Cache gespeichert. Daher verwenden wir bei der Attention-Berechnung eines neuen Tokens den zwischengespeicherten Key und Value der vorherigen Tokens, anstatt alles von Grund auf neu zu berechnen. Dies beschleunigt den Token-Generierungsprozess effektiv.
DeepSeek V3 nutzt ebenfalls KV-Cache in seiner Attention-Schicht. Tatsächlich entwickelt es den Ansatz mit der Einführung von MLA noch weiter. Im Wesentlichen komprimiert MLA die Eingabe-Embedding-Dimension in ihre Low-Rank-Darstellung, indem redundante Elemente entfernt werden. Als Ergebnis dieser Komprimierung werden die Key-, Value- und Query-Vektoren noch kleiner, wodurch der Speicher für den KV-Cache optimiert und der Prozess der Token-Generierung beschleunigt wird.
Architektur von DeepSeek V3 in einem einzelnen Transformer-Block. Quelle.
Wie Sie in der obigen Abbildung sehen können, komprimiert der Ansatz Key und Value gemeinsam in ihre Low-Rank-Darstellung. Diese komprimierte Version des Key-Value-Vektors kann dann ähnlich wie ein normaler KV-Cache zwischengespeichert werden.
Die Query hingegen wird unabhängig komprimiert. Nach der Komprimierung wird die Low-Rank-Darstellung des Query-Vektors anschließend von zwei verschiedenen Pipelines verarbeitet: Eine wird direkt mit einer Schicht projiziert, um sie wieder in ihre hochdimensionale Darstellung abzubilden, und die andere wird durch einen Ansatz namens Rotary Positional Embedding (RoPE) verarbeitet. Die RoPE-Methode ist wichtig, um Positionsinformationen des neuen Tokens in einer Sequenz einzuführen. Die Ausgaben dieser beiden Pipelines werden anschließend zu einer finalen Eingabe für die Multi-Head-Attention-Schicht verkettet.
Der gemeinsam komprimierte Key-Value-Vektor durchläuft ebenfalls einen ähnlichen Prozess wie der Query-Vektor. Allerdings stammt die Eingabe für RoPE des Key-Vektors aus dem ursprünglichen Eingabe-Embedding statt aus dem komprimierten Key-Value-Vektor.
Feature Zwei: DeepSeek MoE
Ein weiterer faszinierender Ansatz, der in DeepSeek V3 implementiert ist, ist der Mixture of Experts (MoE)-Ansatz. Wie Sie im obigen Bild sehen können, wird diese Methode in DeepSeek V3 als Ersatz für das ursprüngliche Feed-Forward-Netzwerk im Transformers-Block implementiert.
Verwenden wir ein Beispiel, um leicht zu verstehen, was MoE tut. Stellen Sie sich vor, wir studieren an einer Universität mit vielen Professoren, von denen jeder ein Experte in einem anderen Fach ist (Mathematik, Physik, Literatur). Wenn wir etwas über Analysis fragen möchten, werden wir an den Mathematikprofessor verwiesen. Ebenso werden wir, wenn wir etwas über Quantenphysik fragen möchten, an den Physikprofessor verwiesen.
MoE funktioniert auf ähnliche Weise. Es besteht aus vielen Modellen, von denen jedes seine eigene Expertise zur Lösung eines bestimmten Problems hat.
Während der Trainingsphase erhält jedes Modell unterschiedliche Daten aus einer bestimmten Domäne, sodass sie zu Experten für die Lösung von Aufgaben aus dieser Domäne werden. Während der Inferenz weist MoE die Anfrage dann, anstatt sich auf ein einzelnes massives Modell zu verlassen, das jede Domäne eines Problems abdecken soll, den fähigsten Expertenmodellen zu. Dieser Ansatz macht die Inferenz schneller und effizienter, da während der Vorhersage je nach Aufgabe nur eine kleine Anzahl von Expertenmodellen aktiviert wird.
MoE in DeepSeek V3. Quelle.
Ein wichtiges Element in einem MoE-Ansatz ist das Gating-Netzwerk. Dieses Netzwerk hat zwei Hauptaufgaben: die Eingabeanfrage zu analysieren und sie anschließend an die am besten geeigneten Expertenmodelle weiterzuleiten. Ein häufiges Problem beim MoE-Training ist jedoch das Load-Balancing-Problem, bei dem das Gating-Netzwerk weiterhin alle Trainingsdaten an ein bestimmtes Modell weiterleitet, anstatt sie auf andere Modelle zu verteilen.
Die Implementierung eines Auxiliary Loss hilft dabei, das Gating-Netzwerk zu zwingen, zu lernen, die Trainingsdaten auf verschiedene Modelle zu verteilen. Das Problem ist, dass sich gezeigt hat, dass die alleinige Abhängigkeit vom Auxiliary Loss die Leistung des Modells nach dem Training verschlechtert.
Um einen Kompromiss zwischen Lastverteilung und Modellleistung einzuführen, implementierte DeepSeek V3 eine Lastverteilungsstrategie ohne Hilfsverlust. Diese Strategie führt für jedes Expertenmodell einen Bias-Term ein, der abhängig von der Routing-Last des entsprechenden Experten dynamisch angepasst wird. Dadurch wird sichergestellt, dass kein Expertenmodell überlastet oder zu wenig genutzt wird.
Wie Sie außerdem in der obigen Visualisierung sehen können, hat DeepSeek V3 bestimmte Experten als "shared experts" konzipiert, und diese Experten sind für verschiedene Aufgaben immer aktiv. Diese Implementierung trägt dazu bei, die Fähigkeit des Modells zu verbessern, über verschiedene Aufgabenbereiche hinweg zu generalisieren.
Dieses MoE-Feature ist das Geheimrezept hinter der Vielseitigkeit von DeepSeek V3. Wie Sie im nächsten Abschnitt sehen werden, ist DeepSeek V3 bei verschiedenen Aufgaben aus unterschiedlichen Bereichen wie Mathematik, Programmieren, Sprache usw. äußerst leistungsfähig. Tatsächlich ist dieses Modell derzeit das stärkste Open-Source-Basismodell in mehreren Bereichen.
Feature Drei: Multi-Token-Vorhersagen
Gängige LLMs sagen in jedem Decodierungsschritt ein Token voraus, aber DeepSeek V3 arbeitet anders, insbesondere in seiner Trainingsphase. DeepSeek V3 implementiert während des Trainings die sogenannten Multi-Token-Vorhersagen (MTP), die es dem Modell ermöglichen, in jedem Decodierungsschritt mehrere zukünftige Token vorherzusagen.
Obwohl er zusätzliche Komplexitätsebenen hinzufügt, ist der MTP-Ansatz wichtig, um die Leistung des Modells bei verschiedenen Aufgaben zu verbessern. Wie Sie sich vorstellen können, ist das Modell in der Lage, die bestmögliche Lösung für eine gegebene Aufgabe zu lernen, indem es in einem Decodierungsschritt mehrere Schritte voraus auf mögliche zukünftige Token blickt.
Visualisierung des MTP-Ansatzes in DeepSeek V3. Quelle.
Zur Implementierung von MTP verwendet DeepSeek V3 mehr als ein Modell, die jeweils aus einer Reihe von Transformer-Schichten bestehen. Ein Modell fungiert als Hauptmodell, während die anderen als MTP-Module fungieren. Obwohl es nicht eindeutig definiert ist, ist das MTP-Modell im Vergleich zum Hauptmodell üblicherweise kleiner (die Gesamtgröße des DeepSeek-V3-Modells auf HuggingFace beträgt 685B, davon 671B aus dem Hauptmodell und 14B aus dem MTP-Modul).
Während der Trainingsphase erhalten sowohl das Hauptmodell als auch die MTP-Module Eingaben aus derselben Embedding-Schicht. Die Implementierung muss jedoch weiterhin sequenziell erfolgen, d. h., das Hauptmodell sollte zuerst gehen, indem es das Token einen Schritt im Voraus vorhersagt, und danach wird das erste MTP-Modul das Token zwei Schritte im Voraus vorhersagen. Dieser Prozess wird abhängig von der Anzahl der MTP-Module fortgesetzt. Nach der Vorhersage der Token verwenden sowohl das Hauptmodell als auch die MTP-Module denselben Output-Head.
Wir können mit dem MTP-Modul während der Inferenzphase völlig flexibel sein. Zum Beispiel können wir das MTP-Modul vollständig verwerfen und während der Inferenz nur das Hauptmodell verwenden, genau wie bei gängigen LLMs. Außerdem können wir das MTP-Modul verwenden, um einen spekulativen Decodierungsansatz zu implementieren, der den Generierungsprozess potenziell noch weiter beschleunigt.
DeepSeek V3: Kosten und Leistung im Vergleich zu anderen Modellen
All die oben genannten innovativen Features ermöglichten es, das DeepSeek-V3-Modell wesentlich kostengünstiger zu trainieren als seine Closed-Source-Konkurrenten.
DeepSeek V3 wurde auf einem Cluster mit 2.048 NVIDIA H800 GPUs trainiert. Die Pre-Training-Phase des DeepSeek-V3-Modells kostete rund 0.01M kostete, wodurch sich die Gesamtkosten für das Training des DeepSeek-V3-Modells von Anfang bis Ende auf 100M kostete](https://www.wired.com/story/openai-ceo-sam-altman-the-age-of-giant-ai-models-is-already-over/).
DeepSeek V3 zeigte außerdem eine überlegene Leistung im Vergleich zu anderen Open- und Closed-Source-LLMs wie Qwen2.5 72B, Llama 3.1 405B, Claude 3.5 Sonnet und ChatGPT 4o über verschiedene Benchmarks hinweg, wie Sie in der folgenden Abbildung sehen können:
Vergleich zwischen DeepSeek-V3 und anderen hochmodernen Chat-Modellen. Quelle.
Die Leistung von DeepSeek V3 hat sich bei verschiedenen Aufgaben wie Programmieren, Mathematik und Chinesisch im Vergleich zu anderen hochmodernen Modellen als überlegen erwiesen. Seine Leistung bei englischen Aufgaben zeigte in mehreren Benchmarks vergleichbare Ergebnisse mit Claude 3.5 Sonnet.
Darüber hinaus wurde die Leistung von DeepSeek V3 mit anderen LLMs bei offenen Generierungsaufgaben verglichen, wobei GPT-4-Turbo-1106 als Richter und die längenkontrollierte Gewinnrate als Metrik verwendet wurden. Infolgedessen zeigte DeepSeek V3 im Vergleich zu anderen die beste Leistung bei den Benchmarks Arena-Hard und AlpacaEval 2.0.
Vergleich zwischen DeepSeek-V3 und anderen hochmodernen Chat-Modellen bei den Benchmarks AlpacaEval 2.0 und Arena-Hard. Quelle.
Die überlegene Leistung von DeepSeek V3 bei den Benchmarks Arena-Hard und AlpacaEval 2.0 zeigt seine Fähigkeit und Robustheit beim Umgang mit langen, komplexen Prompts sowie mit Schreibaufgaben und einfachen Frage-Antwort-Szenarien.
Wie Entwickler DeepSeek V3 nutzen können
Neben seiner Leistung ist ein weiterer Hauptanreiz des DeepSeek-V3-Modells sein Open-Source-Charakter. DeepSeek hat beschlossen, das V3-Modell unter der MIT-Lizenz als Open Source bereitzustellen, was bedeutet, dass Entwickler freien Zugriff auf seine Gewichte haben und es für ihre eigenen Zwecke nutzen können, sogar für kommerzielle Nutzung.
Wir können es für verschiedene GenAI-Anwendungsfälle verwenden, von personalisierten Empfehlungen und Content-Generierung bis hin zu virtuellen Assistenten, internen Chatbots, Dokumentzusammenfassung und vielem mehr. Diese Anwendungsfälle ermöglichen es uns außerdem, die Leistungsfähigkeit von DeepSeek V3 mit Milvus, einer Open-Source-Vektordatenbank, zu kombinieren, um Milliarden von Kontext-Embeddings zu speichern.
Zum Zeitpunkt der Erstellung dieses Artikels wurde DeepSeek V3 noch nicht in Hugging Face integriert. Es ist jedoch davon auszugehen, dass es sehr bald integriert wird, sodass Sie das Modell auf einfache Weise lokal verwenden und ausführen können. Während wir auf die offizielle Hugging-Face-Integration warten, können Sie DeepSeek V3 auf verschiedene Arten ausführen.
Der einfachste Weg, DeepSeek V3 auszuprobieren, ist über die offizielle Chat-Plattform von DeepSeek. Alles, was Sie tun müssen, ist, sich zu registrieren und mit dem Modell zu chatten.
Wenn Sie es lokal auf Ihrem Rechner ausführen möchten, müssen Sie zunächst das offizielle DeepSeek-V3-Repository mit dem folgenden Befehl klonen:
git clone <https://github.com/deepseek-ai/DeepSeek-V3.git>
Gehen Sie als Nächstes in den Ordner inference und installieren Sie alle erforderlichen Abhängigkeiten, indem Sie die folgenden Befehle ausführen:
cd DeepSeek-V3/inference
pip install -r requirements.txt
Als Nächstes müssen Sie die Gewichte des Modells herunterladen. Auf HuggingFace sind zwei Modellgewichte verfügbar: die Basisversion (nur nach der Pre-Training-Phase) und die Chat-Version (nach der Post-Training-Phase). Laden Sie die gewünschte Modellversion herunter und legen Sie die Gewichte dann im Ordner /path/to/DeepSeek-V3 ab.
Nun können Sie die HuggingFace-Modellgewichte mit dem folgenden Befehl in ein bestimmtes Format konvertieren:
python convert.py --hf-ckpt-path /path/to/DeepSeek-V3 --save-path /path/to/DeepSeek-V3-Demo --n-experts 256 --model-parallel 16
Und schließlich können Sie diesen Befehl ausführen, um mit DeepSeek V3 zu chatten:
torchrun --nnodes 2 --nproc-per-node 8 generate.py --node-rank $RANK --master-addr $ADDR --ckpt-path /path/to/DeepSeek-V3-Demo --config configs/config_671B.json --interactive --temperature 0.7 --max-new-tokens 200
Eine alternative Möglichkeit, DeepSeek V3 in Betrieb zu nehmen, ist über mehrere LLM-optimierte Serving-Frameworks, wie vLLM, SGLang, LMDeploy und TensorRT-LLM.
Zukunftsausblick nach DeepSeek V3
Die Einführung von DeepSeek V3 kann in vielerlei Hinsicht als bedeutender Durchbruch angesehen werden. Viele Innovationen, die in der Trainingsphase von DeepSeek V3 umgesetzt wurden, wie MLA, MoE, MTP und Mixed-Precision-Training mit FP8-Quantisierung, haben uns einen Weg eröffnet, ein LLM zu entwickeln, das nicht nur leistungsfähig und effizient ist, sondern auch deutlich günstiger zu trainieren.
Die Implementierung von MLA, MoE und MTP trägt auf unterschiedliche Weise dazu bei, den Prozess der Token-Generierung während der Inferenz zu beschleunigen:
MLA ermöglicht es uns, KV-Cache-Speicher zu sparen und die Token-Generierung zu beschleunigen, indem die Dimension der Eingaberepräsentationen in ihre Low-Rank-Repräsentation komprimiert wird.
MoE beschleunigt den Prozess der Token-Generierung und verbessert die Skalierbarkeit des Modells, indem während der Inferenz je nach Aufgabe nur bestimmte Experten aktiviert werden. Anstatt während der Inferenz alle 671B Parameter zu aktivieren, aktiviert das Modell nur einen kleinen Bruchteil davon (etwa 37B).
MTP kann während der Inferenz umfunktioniert werden, um einen Ansatz des spekulativen Dekodierens zu ermöglichen. Bei diesem Ansatz kann die Vorhersage des nächsten Tokens von möglichen zukünftigen Tokens ausgehen, die von MTP-Modulen vorhergesagt wurden, anstatt sie von Grund auf vorherzusagen.
Die Tatsache, dass DeepSeek sich entschieden hat, DeepSeek V3 unter der MIT-Lizenz als Open Source zu veröffentlichen, ermutigt auch uns, die globale KI-Community, beizutragen, zu experimentieren und auf seiner Technologie aufzubauen. Dies wiederum bindet uns alle in den Prozess ein, um schneller Innovationen in Richtung des Ziels zu erzielen, AGI zu erreichen, die uns allen zugutekommt.
Obwohl seine Leistung im Vergleich zu anderen modernsten LLMs bereits überlegen ist, deutet die Forschung darauf hin, dass die Leistung von DeepSeek V3 in Zukunft noch weiter verbessert werden kann.
Zuvor führte das DeepSeek-Team Forschungsarbeiten zur Destillation der Schlussfolgerungsfähigkeit seines leistungsstärksten Modells, DeepSeek R1, in das DeepSeek V2.5-Modell durch. Falls du damit nicht vertraut bist: Destillation bezeichnet den Prozess, bei dem das Wissen eines größeren und leistungsfähigeren Modells auf ein kleineres übertragen wird.
DeepSeek V2.5 zeigte deutliche Verbesserungen bei den Benchmarks LiveCodeBench und MATH-500, wenn es mit zusätzlichen Destillationsdaten aus dem R1-Modell versorgt wurde, obwohl dies auch mit einem offensichtlichen Nachteil einherging: einer Zunahme der durchschnittlichen Antwortlänge.
Der Beitrag der Destillation von DeepSeek-R1 zu DeepSeek V2.5. Quelle.
Dennoch zeigt diese Forschung, dass dieselbe Technik der Wissensdestillation in Zukunft auch auf DeepSeek V3 angewendet werden kann, um seine Leistung über verschiedene Datendomänen hinweg weiter zu optimieren.
Fazit
DeepSeek V3 stellt einen großen Fortschritt im Bereich der Open-Source-KI dar. Es bietet eine Leistung, die mit führenden Closed-Source-Modellen vergleichbar ist, jedoch nur zu einem Bruchteil der Trainingskosten. Seine innovativen Funktionen, darunter Multi-Head Latent Attention (MLA), Mixture of Experts (MoE) und Multi-Token Predictions (MTP), tragen sowohl zur Effizienz als auch zur Genauigkeit während der Trainings- und Inferenzphase bei. Zudem ermöglicht seine Open-Source-Natur unter der MIT-Lizenz der KI-Community, auf seinen Fortschritten aufzubauen und so den Fortschritt in Richtung AGI zu beschleunigen.
Mit Blick in die Zukunft kann die Wirkung von DeepSeek V3 noch stärker sein. Die potenzielle Anwendung von Knowledge-Distillation-Techniken, wie sie zuvor von DeepSeek R1 und DeepSeek V2.5 untersucht wurden, deutet auf Spielraum für weitere Optimierung und Effizienzsteigerungen hin. Wir können sagen, dass DeepSeek V3 einen neuen Maßstab für kosteneffiziente und leistungsstarke KI-Forschung setzt.
Weiterlesen
From Vector Database to Vector Lakebase
Zilliz offers a fully managed Vector Lakebase powered by Milvus, unifying real-time vector search, lake-scale discovery, and Al data operations.
Migrating from S3 Vectors to Zilliz Cloud: Unlocking the Power of Tiered Storage
Learn how Zilliz Cloud bridges cost and performance with tiered storage and enterprise-grade features, and how to migrate data from AWS S3 Vectors to Zilliz Cloud.
Announcing the General Availability of Zilliz Cloud BYOC on Google Cloud Platform
Zilliz Cloud BYOC on GCP offers enterprise vector search with full data sovereignty and seamless integration.