Einblicke in die LLM-Sicherheit vom größten Red Team der Welt
Was, wenn die größte Bedrohung für KI kein bösartiger Code wäre? Es könnte geschickt formulierter Text sein. Das Gandalf Projekt, ein spielerischer Ansatz für KI-Sicherheit, zeigte, wie leicht Large Language Models (LLMs) durch Prompt Injection manipuliert werden können. Vorgestellt von Max Mathys, einem ML-Ingenieur von Lakera AI, bei einem kürzlich stattgefundenen Zilliz Unstructured Data Meetup, verwandelte dieses einzigartige Experiment zur KI-Sicherheit ein einfaches Spiel in das größte Red Team der Welt. Es zog Hunderte von Nutzern an und generierte über 40 Millionen Prompts.
Die zentrale Herausforderung bestand darin, mithilfe textbasierter Interaktionen ein geheimes Passwort von einer KI namens Gandalf zu extrahieren. Dieses scheinbar einfache Spiel lieferte ein praktisches, realitätsnahes Beispiel für adversariales maschinelles Lernen, bei dem Angreifer absichtlich versuchen, KI-Modelle zu täuschen oder zu manipulieren.
Die Ergebnisse des Projekts zeigten die dringende Notwendigkeit leistungsstarker KI-Sicherheitsmaßnahmen. Viele Nutzer-Prompts waren erfolgreiche Angriffe, die Gandalfs Abwehrmaßnahmen umgingen und deutlich machten, wie anfällig KI-Systeme sein können. Da LLMs zunehmend in unseren Alltag integriert werden, kann die Bedeutung des Aufbaus robuster Abwehrmechanismen gegen Prompt Injection kaum überschätzt werden.
In diesem Blog fassen wir die wichtigsten Punkte aus Max’ Vortrag zusammen und erörtern die Bedeutung von Prompt Engineering und dessen erheblichen Einfluss auf LLMs. Außerdem gehen wir darauf ein, wie das Gandalf-Projekt die Verwundbarkeiten von LLMs gegenüber adversarialen Angriffen aufzeigte. Zusätzlich behandeln wir die Rolle von Vektordatenbanken in der KI-Sicherheit.
Das Gandalf-Spiel: Ein Experimentierfeld für Prompt Injection
Das Gandalf-Spiel wurde als textbasierte Herausforderung konzipiert, bei der Nutzer die Aufgabe hatten, ein geheimes Passwort aus einer KI zu extrahieren. Das Spiel bestand aus acht Levels mit zunehmendem Schwierigkeitsgrad, wobei jedes neue Abwehrmechanismen gegen Angriffe einführte. Nutzer interagierten mit der KI über Text-Prompts und versuchten, Sicherheitsmaßnahmen zu umgehen und das verborgene Passwort offenzulegen.
Abbildung: Die Benutzeroberfläche des Gandalf-Projekts
Im Kern war das Gandalf-Spiel darauf ausgelegt, Prompt-Injection-Angriffe zu testen. Bei diesen Angriffen erstellen Nutzer gezielte Prompts, um das Verhalten des LLM zu manipulieren. Anstatt direkt Programmierschwachstellen auszunutzen, versuchten Nutzer, die KI durch sorgfältige Formulierung ihrer Anfragen dazu zu „bringen“, das Passwort preiszugeben. Dieser Ansatz ermöglichte es dem Spiel, verschiedene adversariale Techniken zu untersuchen, die die Sprachverständnisfähigkeiten des LLM ausnutzen.
Abbildung: Das Gandalf-Spiel
Das Spiel zog Hunderttausende von Spielern an, die über 40 Millionen Prompts einreichten. Dieses Volumen an realen Daten bot eine einzigartige Gelegenheit, KI-Schwachstellen in der Praxis zu untersuchen. Einige Nutzer bauten KI-Agenten, um das Spiel zu spielen, was zeigt, wie fortgeschritten Angriffsmethoden geworden sind. Etwa 10 % der Prompts täuschten die KI erfolgreich und verdeutlichten reale Sicherheitsrisiken.
Datenerhebung und das Ausmaß der Herausforderung
Das Gandalf-Projekt trug einen großen Datensatz zusammen und sammelte über 40 Millionen Prompts und Vermutungen von über 1 Million Nutzern. Die Daten spiegelten ein hohes Maß an Vielfalt wider, wobei Nutzer über 68 Sprachen verwendeten. Das bedeutet, dass Prompt Injection nicht auf Englisch beschränkt ist und in verschiedenen Sprachen auftreten kann.
Abbildung: Gandalf-Datenstatistiken
Dieses Projekt stand vor erheblichen technischen Herausforderungen, wie Serverüberlastungen und Rate-Limiting durch die OpenAI API. Das Team musste Load Balancing über verschiedene OpenAI-Konten hinweg implementieren, um diese Probleme zu bewältigen. Diese technischen Schwierigkeiten verdeutlichen die Anforderungen bei der Bereitstellung eines realen KI-Sicherheitstests.
Der Datensatz umfasste zahlreiche Angriffe, wie zum Beispiel:
Unicode-Angriffe: Verwenden Emojis und Sonderzeichen, um das LLM zu verwirren.
Semantic-Change-Angriffe: Verlagern den Fokus auf eine andere Aufgabe und bringen das LLM indirekt dazu, das Passwort preiszugeben.
Leet Speak: Ersetzt Buchstaben durch Zahlen und Symbole, um die Absicht zu verschleiern.
Programmiertechniken: Verwenden Fachjargon oder Code, um das LLM in die Irre zu führen.
Indirekte Angriffe: Manipulieren den LLM-Judge, anstatt das LLM direkt anzugreifen.
Direkte Angriffe: Fordern das Passwort einfach direkt an.
Abbildung: Angriffsbeispiele
Analyse von Angriffsmethoden mithilfe von Vector Embeddings
Embedding-basierte Ansätze wurden verwendet, um die zahlreichen Angriffe zu kategorisieren und zu analysieren. Anstatt jeden Prompt manuell zu überprüfen, wurden Vector Embeddings verwendet, um ähnliche Angriffe zu gruppieren und Muster zu identifizieren.
Abbildung: Angriffsgruppen
Vector Embeddings sind numerische Darstellungen von Datenpunkten in einem hochdimensionalen Raum. In diesem Raum liegen ähnliche Datenpunkte nahe beieinander, während unähnliche Datenpunkte weiter voneinander entfernt sind. Im Wesentlichen werden Text-Prompts in Vektordarstellungen umgewandelt, wobei jede Zahl einem bestimmten Merkmal des Textes entspricht. Mehrere spezifische Angriffstypen, wie Unicode-Angriffe, Leet Speak und Semantic-Change-Angriffe, können mithilfe von Vector Embeddings identifiziert werden.
Die Verwendung von Vector Embeddings ermöglicht effiziente Ähnlichkeitssuchen. Eine Vektordatenbank wie Milvus wird aufgebaut, um große Datensätze unstrukturierter Daten, wie Text, über Vektordarstellungen zu verwalten. Dieser Prozess erleichtert das schnelle und genaue Abrufen relevanter Informationen durch effiziente Ähnlichkeitssuche und Analyse.
Es gibt drei Haupttypen von Embeddings, die jeweils Vorteile beim Verständnis von Beziehungen und beim Verwalten von Rechenressourcen bieten.
Dense Embeddings: Repräsentieren Datenpunkte mit überwiegend von null verschiedenen Elementen und erfassen feinere Details, sind jedoch weniger speichereffizient. Modelle wie CLIP und BERT erzeugen dichte Vector Embeddings.
Sparse Embeddings: Dabei handelt es sich um hochdimensionale Vektoren mit überwiegend Nullelementen. Die von null verschiedenen Werte zeigen die Bedeutung bestimmter Datenpunkte an. Dadurch sind sie speichereffizient und eignen sich für hochdimensionale spärliche Daten, wie Wortfrequenzen.
Binary Embeddings: Diese Embeddings speichern Informationen ausschließlich mit 1en und 0en. Dadurch werden Speicherung und Abruf effizient, allerdings mit einem gewissen Präzisionsverlust.
Verteidigungsstrategien: Von Prompt Engineering bis zu Textklassifikatoren
Verschiedene Verteidigungsstrategien werden gegen Prompt-Injection-Angriffe eingesetzt, die von einfachen Prompt-Engineering-Techniken bis hin zu komplexen Methoden wie Textklassifikatoren reichen. Diese Strategien können als verschiedene „Level“ im Spiel betrachtet werden, die jeweils darauf ausgelegt sind, es Nutzern zunehmend schwerer zu machen, das geheime Passwort zu extrahieren.
Diese Strategien lassen sich grob in drei Typen einteilen: auf Prompt Engineering basierende Verteidigungen, LLM-basierte Verteidigungen und Textklassifikator-Verteidigungen.
Auf Prompt Engineering basierende Verteidigungen
Frühe Spiellevel verwendeten grundlegende Prompt-Engineering-Techniken. Diese Verteidigungen waren relativ einfach und darauf ausgelegt, leicht umgangen zu werden. Beispielsweise hatte das erste Level keine Verteidigungen, während spätere Level einfache Filterung verwendeten, um direkte Fragen wie „Wie lautet das Passwort?“ zu blockieren. Diese promptbasierten Verteidigungen bleiben jedoch anfällig für Prompt-Injection-Angriffe.
LLM-basierte Verteidigung (LLM Judge)
Das Zwischenlevel führte einen fortschrittlicheren Ansatz mit einem LLM Judge ein. In diesem Aufbau wurden sowohl der Prompt des Nutzers als auch die Antwort des Modells an ein weiteres LLM weitergegeben, das als Judge fungierte. Der Judge bewertete die gesamte Interaktion und bestimmte, ob der Nutzer einen Prompt-Injection-Angriff versuchte.
Der LLM Judge sollte subtile Manipulationen erkennen, war aber dennoch anfällig für Prompt-Injection-Angriffe. Das Umgehen sowohl des ursprünglichen Modells als auch des LLM Judge zeigte, dass das Verteidigungssystem Schwächen hatte und nicht vollständig zuverlässig war.
Abbildung: LLM-basierte Verteidigung
Textklassifikator-Verteidigung
Die letzten Level verwendeten eine andere Technologie, einen binären Textklassifikator, um die Schwächen der LLM-basierten Verteidigung zu beheben. Dieser Klassifikator fungierte als „sichere Schicht“ zwischen dem Nutzer und dem LLM.
Der Textklassifikator war nicht anfällig für Prompt-Injection-Angriffe. Er wurde entwickelt, um den Prompt des Nutzers und die Ausgabe des Modells zu analysieren. Dadurch wird bestimmt, ob ein Angriff versucht wurde, ohne vom semantischen Inhalt des Textes beeinflusst zu werden.
Verteidigung mithilfe eines Textklassifikators
Die Rolle von Vektordatenbanken in der KI-Sicherheit
Vektordatenbanken spielen eine wichtige Rolle bei der Verbesserung der KI-Sicherheit, indem sie effiziente Speicherung, Indizierung und Abfrage von Vektoreinbettungen bereitstellen. Diese Einbettungen ermöglichen verschiedene Sicherheitsanwendungen, wie die Analyse von Angriffsmustern, die Erkennung von Anomalien und die Verbesserung der Leistung von Sicherheitsmodellen.
- Effiziente Speicherung und Abfrage von Einbettungen: Vektordatenbanken wie Milvus und Zilliz Cloud (die verwaltete Version von Milvus) sind darauf ausgelegt, große Mengen an Vektoreinbettungen zu verarbeiten. Diese Datenbanken verwenden fortschrittliche Indizierungsalgorithmen, um schnelle Ähnlichkeitssuchen zu ermöglichen, die für Echtzeit-Sicherheitsanwendungen unerlässlich sind.
Das schnelle Abrufen ähnlicher Einbettungen ist bei Sicherheitsaufgaben wie der Identifizierung bekannter Angriffsmuster wichtig. Vektordatenbanken verwenden Techniken wie die Suche nach Approximate Nearest Neighbor (ANN), um diese Abrufe mit geringer Latenz durchzuführen.
Diese Datenbanken unterstützen auch verschiedene Indextypen, wie FLAT, IVF_FLAT, HNSW und SCANN, die die Suche für unterschiedliche Arten von Datensätzen und Anwendungsfällen optimieren.
- Verbesserung der Leistung von Sicherheitsmodellen: Vektordatenbanken können die Leistung von KI-Sicherheitsmodellen verbessern. Die Verwendung von Vektoreinbettungen bekannter Angriffe hilft Sicherheitssystemen, Bedrohungen effektiver zu identifizieren und darauf zu reagieren. Dies ist besonders wichtig, wenn sich die Art der Angriffe ständig ändert.
Das Gandalf-Projekt zeigte, dass die Verwendung eines Textklassifikators als Verteidigungsmechanismus ein robusterer Ansatz sein kann. Diese Methode kann durch die Nutzung von Vektoreinbettungen von Angriffsprompts verbessert werden, anstatt sich ausschließlich auf Prompt-Engineering-Techniken zu verlassen.
Vektordatenbanken ermöglichen den Einsatz hybrider Modelle, die verschiedene Arten von Merkmalen oder Techniken kombinieren, um die Gesamtsicherheit zu verbessern.
Sicherheitsmodelle können ein breiteres Spektrum an Informationen einbeziehen, indem verschiedene Arten von Einbettungen (dense, sparse, binary) zusammen mit anderen Daten gespeichert werden.
- Erkennen von Anomalien: Vektordatenbanken können auch verwendet werden, um anomales Verhalten zu identifizieren. Sicherheitsteams können Abweichungen von diesen Mustern erkennen, indem sie Einbettungen normaler Systemaktivitäten erstellen. Anomales Verhalten führt häufig zu Einbettungen, die weit von der Norm entfernt sind.
Das Erkennen ungewöhnlichen oder unerwarteten Verhaltens ist in KI-Systemen entscheidend, um Sicherheitsverletzungen oder Systemfehlfunktionen zu identifizieren. Vektordatenbanken ermöglichen es, Systemaktivitäten kontinuierlich zu überwachen und potenziell bösartige Aktionen schnell zu erkennen.
Milvus verbessert die APK-Sicherheit und ermöglicht Bedrohungserkennung in Echtzeit. Andere Unternehmen nutzen Milvus oder Zilliz, um eine schnellere Datenbeschaffung und Kennzeichnung zu erreichen und die Abfragepräzision mit hybrider Suche zu verbessern.
Fazit
Das Gandalf-Experiment, bei dem Nutzer herausgefordert wurden, eine KI dazu zu bringen, ein geheimes Passwort preiszugeben, zeigte Schwächen in Sprachmodellen (LLMs). Das Experiment zeigte, wie leicht diese Modelle mit sorgfältig formulierten Prompts getäuscht werden können.
Es wurde deutlich, dass grundlegende Sicherheitsmaßnahmen wie einfaches Prompt Engineering nicht ausreichen, um diese Angriffe zu stoppen. Selbst fortschrittlichere Verteidigungsmaßnahmen, wie die Verwendung eines LLM-Richters zur Überwachung von Interaktionen, erwiesen sich als anfällig.
Das Experiment zeigte auch, wie nützlich Vektordatenbanken für die KI-Sicherheit sein können. Vektoreinbettungen helfen dabei, Angriffsmuster zu analysieren, ungewöhnliche Aktivitäten zu erkennen und Verteidigungsmaßnahmen zu verbessern. Insgesamt unterstrich das Experiment die Notwendigkeit intelligenterer, mehrschichtiger Ansätze zur Absicherung von KI-Systemen.
Weitere Ressourcen
LLM-Eval: Ein optimierter Ansatz zur Bewertung von LLM-Konversationen
Aufbau sicherer RAG-Workflows: Datenpartitionierung auf Chunk-Ebene - Zilliz blog
So stellen Sie Datensicherheit in RAG-Systemen sicher - Zilliz blog
Was sind Private LLMs? Große Sprachmodelle privat ausführen - privateGPT und Beyond - Zilliz Learn
Weiterlesen
Zilliz Cloud Now Available in AWS Europe (Ireland)
Zilliz Cloud launches in AWS eu-west-1 (Ireland) — bringing low-latency vector search, EU data residency, and full GDPR-ready infrastructure to European AI teams. Now live across 30 regions on five cloud providers.
8 Latest RAG Advancements Every Developer Should Know
Explore eight advanced RAG variants that can solve real problems you might be facing: slow retrieval, poor context understanding, multimodal data handling, and resource optimization.
Similarity Metrics for Vector Search
Exploring five similarity metrics for vector search: L2 or Euclidean distance, cosine distance, inner product, and hamming distance.