Blog
Mixture-of-Agents (MoA): Wie kollektive Intelligenz die Leistung von LLMs steigert

Mixture-of-Agents (MoA): Wie kollektive Intelligenz die Leistung von LLMs steigert

Nov 30, 202410 min read

Der rasante Fortschritt von Large Language Models (LLMs) ist wie ein zweischneidiges Schwert. Einerseits geben uns zahlreiche hochmoderne LLMs viele Optionen, um unsere Anwendungsfälle zu lösen. Andererseits kann diese Fülle an Auswahlmöglichkeiten überwältigend sein.

Da verschiedene Organisationen und Unternehmen diese LLMs entwickeln, werden sie außerdem mit unterschiedlichen Datensätzen trainiert, was zu LLMs mit unterschiedlichen Spezialisierungen führt. Einige LLMs zeichnen sich bei der Lösung mathematischer Probleme aus, während andere besser für Programmieraufgaben geeignet sind. Diese Vielfalt macht es schwierig, das am besten geeignete LLM für unsere Bedürfnisse auszuwählen, insbesondere wenn es um domänenübergreifende Anwendungsfälle geht.

In diesem Artikel werden wir eine Methode untersuchen, um diese Herausforderung anzugehen: den Mixture-of-Agents (MoA)-Ansatz, der mehrere LLMs mit unterschiedlichen Spezialisierungen zu einem einzigen System kombiniert. Also, ohne weitere Umschweife, beginnen wir mit einigen Motivationen hinter MoA.

Die Motivation hinter Mixture-of-Agents (MoA)

Der rasante Fortschritt der LLMs hat uns mit zahlreichen Optionen gesegnet, wenn es darum geht, das beste Modell für unseren Anwendungsfall auszuwählen. Allerdings gilt das No-Free-Lunch-Theorem weiterhin für LLMs – kein einzelnes Modell schneidet bei allen Aufgaben gleich gut ab. Verschiedene LLMs zeichnen sich aufgrund ihrer unterschiedlichen Trainingsdaten bei unterschiedlichen Aufgaben aus. Daher ist es entscheidend, ein LLM auszuwählen, das am besten zu dem spezifischen Problem passt, das wir zu lösen versuchen.

Eine Herausforderung entsteht, wenn wir es mit domänenübergreifenden Anwendungsfällen zu tun haben, die Fachwissen von mehreren LLMs erfordern. Dies wirft eine wichtige Frage auf: Können wir mehrere LLMs gemeinsam nutzen, um ihre individuellen Stärken auszuschöpfen und ein leistungsfähigeres, robusteres System zu schaffen? Die Methode Mixture-of-Agents (MoA) versucht, diese Frage zu beantworten.

Was ist MoA?

Kurz gesagt ist Mixture-of-Agents (MoA) ein Framework, in dem mehrere spezialisierte LLMs, oder „Agenten“, zusammenarbeiten, um Aufgaben zu lösen, indem sie ihre einzigartigen Stärken nutzen.

Das Konzept hinter MoA ist einfach: Wir kombinieren mehrere LLMs mit unterschiedlichen Stärken und Fähigkeiten zu einem einzigen System. Wenn ein Nutzer eine Anfrage stellt, generiert jedes LLM im System eine Antwort. Anschließend synthetisiert ein festgelegtes LLM am Ende all diese Antworten zu einer kohärenten Antwort für den Nutzer, wie in der folgenden Visualisierung gezeigt:

Abbildung: Mixture-of-Agents-Konzept

Abbildung: Mixture-of-Agents-Konzept.

Obwohl das MoA-Konzept einfach ist, ist es überraschend effektiv. Die Autoren des MoA-Papers stellten fest, dass LLMs tendenziell qualitativ hochwertigere Ausgaben erzeugen, wenn ihnen Antworten anderer LLMs präsentiert werden.

Dieses Phänomen wurde durch Benchmark-Tests auf dem AlpacaEval-2.0-Datensatz mit sechs verschiedenen LLMs demonstriert, darunter Qwen, Wizard, Mixtral, Llama 3 und dbrx. Die Autoren verglichen die Antwortqualität der LLMs unter zwei Bedingungen: unter Verwendung direkter Eingabe-Prompts versus unter Verwendung von Antworten anderer Modelle. Sie maßen die Qualität mithilfe der Metrik Length Controlled (LC) Win Rate, die die Ausgabequalität unabhängig von Faktoren wie der Antwortlänge bewertet, welche die Bewertungsergebnisse erheblich beeinflussen können.

Abbildung: AlpacaEval 2.0 LC-Win-Rates-Vergleich jedes LLM aus zwei unterschiedlichen Eingaben: direkt aus dem Nutzer-Prompt und aus der Ausgabe anderer Modelle

Abbildung: AlpacaEval 2.0 LC-Win-Rates-Vergleich jedes LLM aus zwei unterschiedlichen Eingaben: direkt aus dem Nutzer-Prompt und aus der Ausgabe anderer Modelle. Quelle.

Die Ergebnisse waren über alle sechs LLMs hinweg konsistent: Sie erzielten bessere LC-Win-Rate-Werte, wenn sie mit Ausgaben anderer LLMs arbeiteten, im Vergleich zur direkten Verarbeitung von Eingabe-Prompts. Auf Grundlage dieser Erkenntnisse entwickelten die Autoren das MoA-Konzept, das wir im nächsten Abschnitt ausführlich untersuchen werden.

Die Grundlagen von Mixture-of-Agents (MoA)

MoA integriert mehrere LLMs in ein System, um die Qualität der Antwortgenerierung iterativ zu verbessern.

Das System besteht aus mehreren Schichten, die jeweils mehrere LLMs unterschiedlicher Größen und Fähigkeiten enthalten. Die LLMs in der ersten Schicht generieren unabhängig voneinander Antworten auf den Eingabe-Prompt. Diese Antworten werden dann den LLMs in der zweiten Schicht als Eingaben präsentiert, die wiederum ihre eigenen unabhängigen Antworten generieren. Dieser Zyklus wird über nachfolgende Schichten hinweg fortgesetzt, bis die letzte Schicht erreicht ist. Am Ende synthetisiert ein einzelnes LLM die Antworten aus der letzten Schicht zu einer endgültigen Antwort für den Nutzer.

Figure: Illustration der Mixture-of-Agents-Struktur

Abbildung: Illustration der Mixture-of-Agents-Struktur. Quelle.

Basierend auf diesem Konzept können die in MoA verwendeten LLMs in zwei Kategorien eingeteilt werden: Proposer und Aggregatoren.

Proposer generieren Antworten innerhalb jeder Schicht des MoA-Systems und tragen zur Qualität der endgültigen Antwort bei.
Aggregatoren sammeln alle Antworten der LLMs in der letzten Schicht und synthetisieren sie zu einer einzigen hochwertigen Antwort für den Nutzer.

Angesichts der unterschiedlichen Fähigkeiten und Spezialgebiete verschiedener LLMs müssen wir bei der Auswahl der Modelle, die als Proposer und Aggregatoren verwendet werden sollen, aufmerksam sein. Einige LLMs eignen sich hervorragend als Proposer, während andere als Aggregatoren besser abschneiden, und manche können beide Rollen effektiv übernehmen. Wir werden die detaillierten Ergebnisse im nächsten Abschnitt besprechen.

Da MoA aus vielen Schichten bestehen kann, kann dasselbe LLM entweder innerhalb derselben Schicht oder über verschiedene Schichten hinweg als Proposer wiederverwendet werden. Zum Beispiel können wir ein MoA-System mit 5 Schichten erstellen, die jeweils 5 LLMs enthalten, und das Llama3-70B-Modell in allen als einzelnen Proposer verwenden.

Sobald die Proposer in der letzten Schicht ihre Antworten generiert haben, werden alle Ausgaben zu einem einzigen, kohärenten Prompt strukturiert, damit der Aggregator die endgültige Antwort generiert.

Hier ist ein Beispiel für einen solchen Prompt:

Figure: Prompt-Beispiel zur Synthese und Aggregation von Antworten mehrerer LLMs

Abbildung: Prompt-Beispiel zur Synthese und Aggregation von Antworten mehrerer LLMs. Quelle.

Obwohl dieses Konzept dem Mixture-of-Experts (MoE) -Ansatz ähnelt, der in traditionellen neuronalen Netzwerken verwendet wird, gibt es einen entscheidenden Unterschied. In traditionellen neuronalen Netzwerken werden MoE-Schichten als mehrere Teilnetzwerke innerhalb der Architektur eines einzelnen Modells implementiert. Sobald wir daher neue Daten haben, die stark von den Trainingsdaten abweichen, müssen wir die Gewichte jeder MoE-Schicht feinabstimmen, um die Leistung zu optimieren.

MoA hingegen stützt sich vollständig auf Prompting. Daher ist es nicht erforderlich, die LLMs feinabzustimmen, um die Gesamtleistung des Systems zu verbessern. Dies bietet größere Flexibilität, da wir unterschiedliche LLMs frei als Proposer oder Aggregatoren auswählen können, unabhängig von ihrer Größe und Architektur. Das bedeutet auch, dass wir, falls wir in Zukunft ein neues State-of-the-Art-Modell haben, dieses Modell direkt als Proposer oder Aggregator in unser MoA-System implementieren können.

MoA bietet außerdem eine wettbewerbsfähige Leistung und dient als effektive Alternative zu anderen Multi-Agenten-Methoden, die darauf ausgelegt sind, vielfältige LLM-Fähigkeiten zu nutzen, wie zum Beispiel:

LLM-Ranker: Diese Methode verwendet mehrere LLMs als Vorschlagende, um unabhängig voneinander Antworten auf Eingabeabfragen zu generieren. Ein eigenständiges LLM wählt dann die beste Antwort aus diesen Vorschlagenden aus.
RouteLLM: Diese Methode verwendet eine trainierte Router-Funktion, um die Komplexität der Abfrage zu analysieren und zu bestimmen, welche LLMs die Eingabe verarbeiten sollen.

Evaluationsergebnisse auf Benchmark-Datensätzen

MoA wurde auf drei Benchmark-Datensätzen evaluiert: AlpacaEval 2.0, MT-Bench und FLASK.

Drei verschiedene Varianten von MoA wurden getestet:

MoA: Ein dreischichtiges System mit sechs Vorschlagenden pro Schicht (Qwen1.5-110B-Chat, Qwen1.5-72B-Chat, WizardLM-8x22B, LLaMA-3-70B-Instruct, Mixtral-8x22B-v0.1, dbrx-instruct) und Qwen1.5-110B-Chat als Aggregator.
MoA mit GPT-4o: Der gleiche Aufbau wie oben, jedoch mit GPT-4o als Aggregator.
MoA-lite: Ein zweischichtiges System, das dieselben sechs Vorschlagenden und denselben Aggregator wie das Standard-MoA verwendet.

Figure: 2-layers MoA (left) vs 3-layers MoA (right)

Abbildung: 2-schichtiges MoA (links) vs. 3-schichtiges MoA (rechts). Quelle.

Auf dem AlpacaEval 2.0-Datensatz übertrafen alle drei MoA-Varianten das State-of-the-Art-Modell GPT-4 Omni um bis zu 8,2 %. Der MoA-Aufbau mit GPT-4o als Aggregator erzielte unter den Varianten die höchste LC-Gewinnrate.

Alle drei MoA-Varianten zeigten auch auf dem MT-Bench-Datensatz eine wettbewerbsfähige Leistung. Während das aktuelle State-of-the-Art-Modell GPT-4 Turbo außergewöhnlich gut abschnitt, übertraf MoA mit GPT-4o als Aggregator dieses Modell. Der Leistungsvergleich zwischen MoA-Varianten und anderen State-of-the-Art-Modellen ist unten dargestellt:

Figure: Results on AlpacaEval 2.0 (left) and MT-Bench (right)

Abbildung: Ergebnisse auf AlpacaEval 2.0 (links) und MT-Bench (rechts). Quelle.

Der FLASK-Datensatz bietet eine granularere Evaluation als AlpacaEval 2.0 und MT-Bench und bewertet 12 Aspekte: Robustheit, Korrektheit, Effizienz, Faktizität, gesunden Menschenverstand, Verständnis, Erkenntnisreichtum, Vollständigkeit, Metakognition, Lesbarkeit, Prägnanz und Harmlosigkeit.

Der MoA-Aufbau mit Qwen1.5-110B-Chat als Aggregator übertraf GPT-4 Omni in fünf Aspekten: Korrektheit, Faktizität, Erkenntnisreichtum, Vollständigkeit und Metakognition. Gleichzeitig ist die Leistung bei anderen Metriken, abgesehen von der Prägnanz, durchaus mit GPT-4 Omni vergleichbar. Der MoA-Aufbau zeigte einen deutlichen Rückgang bei der Prägnanz, wie unten veranschaulicht:

Figure: Results on FLASK

Abbildung: Ergebnisse auf FLASK. Quelle.

Da wir nun seine Leistung im Vergleich zu State-of-the-Art-Modellen wie der GPT-4-Familie kennen, ist es ebenfalls interessant, seine Leistung im Vergleich zu anderen verwandten Mixture-of-Agent-Methoden zu betrachten.

Wie im vorherigen Abschnitt erwähnt, ist ein Beispiel für eine andere Mixture-of-Agent-ähnliche Methode der LLM-Ranker, der mehrere LLMs (Vorschlagende) verwendet, um unabhängige Antworten auf einen Eingabe-Prompt zu generieren. Anstatt einen Aggregator zu verwenden, wählt der LLM-Ranker die beste Antwort aus den Vorschlagenden aus.

Für die Evaluation verwendeten sowohl MoA als auch LLM-Ranker dieselben sechs Vorschlagenden: Qwen1.5-110B-Chat, Qwen1.5-72B-Chat, WizardLM-8x22B, LLaMA-3-70B-Instruct, Mixtral-8x22B-v0.1 und dbrx-instruct. Jeder Vorschlagende wurde als Aggregator für MoA getestet, während der LLM-Ranker nur Qwen1.5-110B-Chat verwendete, um die beste Antwort auszuwählen.

In Evaluierungen auf dem AlpacaEval-2.0-Datensatz übertraf MoA LLM-Ranker unabhängig vom verwendeten Aggregator konsistent. Dies zeigt das Potenzial der MoA-Methode, bei der der Aggregator am Ende nicht einfach eine der Antworten der Proposer auswählt, sondern vielmehr eine Aggregation über alle Antworten der Proposer generiert, um eine leistungsfähigere und robustere finale Antwort zu erstellen.

Abbildung: LC-Gewinnrate auf AlpacaEval 2.0 mit verschiedenen Aggregatoren in einem MoA-Setup mit 6 Proposern

Abbildung: LC-Gewinnrate auf AlpacaEval 2.0 mit verschiedenen Aggregatoren in einem MoA-Setup mit 6 Proposern. Quelle.

Empfehlungen für das Mixture-of-Agents-(MoA)-Setup

Nachdem wir die Leistung von MoA gegenüber der GPT-4-Familie anhand von drei Varianten mit jeweils sechs verschiedenen Proposern gesehen haben, stellen sich zwei zentrale Fragen: Wie beeinflusst die Anzahl der Proposer die Gesamtleistung von MoA? Und was passiert, wenn wir mehrere identische LLMs statt unterschiedlicher LLMs als Proposer verwenden?

Um die Auswirkungen der Anzahl der Proposer zu bestimmen, evaluierte der Autor des MoA-Papers MoA auf AlpacaEval 2.0 mit variierenden Anzahlen von Proposern. Gemessen wurde die LC-Gewinnrate von 2-Layer-MoA-Konfigurationen mit 6, 3, 2 und 1 verschiedenen Proposern. Die Ergebnisse deuten darauf hin, dass mehr Proposer dem Aggregator helfen, robustere Antworten zu generieren.

Darüber hinaus schnitten MoA-Setups mit einem einzelnen Proposer (identische LLMs als Proposer) schlechter ab als Multi-Proposer-Konfigurationen. Dies deutet darauf hin, dass MoA davon profitiert, über eine diverse Reihe von LLMs mit unterschiedlichen Spezialisierungen zu verfügen, anstatt ein identisches LLM zu verwenden.

Abbildung: Auswirkungen der Anzahl der Proposer auf AlpacaEval 2.0.

Abbildung: Auswirkungen der Anzahl der Proposer auf AlpacaEval 2.0. Quelle.

Angesichts der Vorteile von Multi-Proposer-Setups ist es außerdem wichtig zu verstehen, welche LLMs in diesen Konfigurationen am besten funktionieren. Tests von sechs verschiedenen LLMs auf AlpacaEval 2.0 zeigten, dass Modelle wie GPT-4o, Qwen und Llama 3 vielseitig genug sind, um sowohl als Proposer als auch als Aggregatoren zu dienen. Modelle wie WizardLM schneiden jedoch als Proposer deutlich besser ab als als Aggregatoren.

Auswirkung verschiedener LLMs, die als Proposer vs. Aggregatoren verwendet werden

Auswirkung verschiedener LLMs, die als Proposer vs. Aggregatoren verwendet werden. Quelle.

Was die Kosten betrifft, ist das Kosten-Leistungs-Verhältnis von MoA aufgrund seiner Abhängigkeit von mehreren LLMs besonders interessant im Vergleich zu State-of-the-Art-Modellen wie GPT-4o und GPT-4 Turbo. Experimente zeigen, dass MoA-Lite GPT-4 Turbo auf AlpacaEval 2.0 um etwa 4 % übertreffen kann, während die Kosten um mehr als die Hälfte reduziert werden. Die Kosten für MoA-Lite werden hier auf Grundlage der von TogetherAI verfügbaren Preisinformationen berechnet. Wenn es für uns jedoch kein Problem ist, mehr auszugeben, um die Leistung zu maximieren, wäre das 3-Layer-MoA die bessere Wahl.

Abbildung: Performance-Kompromiss vs. Kosten (links) und Performance-Kompromiss vs. TFLOPS (rechts).

Abbildung: Performance-Kompromiss vs. Kosten (links) und Performance-Kompromiss vs. TFLOPS (rechts). Quelle.

Für die Latenzbewertung verwendeten die Autoren TFLOPS als Metrik. TFLOPS bezeichnet die Fähigkeit des Systems, eine Billion Gleitkommaoperationen in einer Sekunde auszuführen. Obwohl TFLOPS nicht exakt mit Latenz vergleichbar ist, verwendete der Autor TFLOP als Proxy für Latenz, da die Latenz je nach Inferenzsystem variieren kann. Das Experimentierergebnis zeigte, dass das 3-Schichten-MoA-Setup seine TFLOPS optimiert, um die LC-Gewinnrate zu maximieren, wie durch die gestrichelte Pareto-Linie in der obigen Visualisierung gezeigt.

Die GPT-4-Familie weist jedoch im Vergleich zu MoA-Setups höhere TFLOPS auf. Dies ist zu erwarten, da MoA mehrere LLM-Antworten verarbeiten muss, bevor es seine endgültige Ausgabe generiert. Dies führt zu seiner Hauptbeschränkung: Time to First Token (TTFT), was sich negativ auf die Benutzererfahrung auswirken kann. Zukünftige Arbeiten zielen darauf ab, dies durch die Implementierung einer abschnittsweisen Antwortaggregation anstelle einer Aggregation vollständiger Antworten zu beheben, wodurch TTFT potenziell reduziert und gleichzeitig die Leistung beibehalten werden kann.

Fazit

Die Mixture-of-Agents (MoA)-Methode bietet eine vielversprechende Lösung, um die Vielfalt und Spezialisierung moderner LLMs zu nutzen. Durch die Nutzung mehrerer LLMs mit unterschiedlichen Stärken über ein System von Proposern und Aggregatoren erstellt MoA eine leistungsfähigere und robustere endgültige Antwort. Seine Flexibilität und Abhängigkeit von Prompt Engineering statt von Fine-Tuning machen es zu einem kosteneffizienten und anpassungsfähigen Ansatz, insbesondere für domänenübergreifende Anwendungsfälle.

Benchmark-Bewertungen auf Datensätzen wie AlpacaEval 2.0 und MT-Bench zeigen eine überlegene Leistung von MoA gegenüber State-of-the-Art-Modellen wie der GPT-4-Familie. Um die Leistung weiter zu optimieren, wird empfohlen, ein Multi-Proposer-Setup anstelle eines Single-Proposer-Setups zu verwenden. MoA ist jedoch nicht ohne Einschränkungen. Die Abhängigkeit von mehreren LLMs erhöht die Latenz und beeinträchtigt die Benutzererfahrung aufgrund einer höheren Time to First Token (TTFT). Daher sind weitere Verfeinerungen, wie etwa eine abschnittsweise Antwortaggregation, notwendig, um seine Effizienz zu optimieren.

Weiterlesen

Introducing Zilliz CLI and Agent Skills for Zilliz Cloud

Manage your vector database from your terminal or AI coding agent. Zilliz CLI and Agent Skills work with Claude Code, Cursor, Codex, and Copilot.

How to Install and Run OpenClaw (Previously Clawdbot/Moltbot) on Mac

Turn your Mac into an AI gateway for WhatsApp, Telegram, Discord, iMessage, and more — in under 5 minutes.

Announcing the General Availability of Zilliz Cloud BYOC on Google Cloud Platform

Zilliz Cloud BYOC on GCP offers enterprise vector search with full data sovereignty and seamless integration.