Bewertung der Sicherheit & Ausrichtung von LLM in spezifischen Domänen
Jüngste Fortschritte in der KI haben zur Entstehung hochentwickelter Large Language Models (LLMs) geführt, mit potenziell transformativen Auswirkungen auf risikoreiche Bereiche wie Gesundheitswesen, Finanzdienstleistungen und Rechtsbranchen. Obwohl diese Modelle erhebliche Vorteile bieten, erfordert ihr Einsatz bei kritischen Entscheidungen eine gründliche Bewertung, um Sicherheit, Genauigkeit und ethische Standards zu gewährleisten. Ernsthafte Bedenken hinsichtlich der Genauigkeit, Sicherheit und Fairness dieser Modelle müssen ausgeräumt werden, bevor KI in solch sensiblen Umgebungen vollständig akzeptiert wird.
Bei einem kürzlich stattgefundenen Unstructured Data Meetup sprach Zhuo Li, CEO bei of Hydrox AI, über die aktuelle Landschaft der Sicherheitsbewertungen für LLMs und teilte Einblicke in ein laufendes Projekt für ein Bewertungsframework in Zusammenarbeit mit AI Alliance. Dieses Projekt zielt darauf ab, umfassende Werkzeuge und Methoden zu entwickeln, um den sicheren und verantwortungsvollen Einsatz von LLMs in sensiblen Umgebungen zu gewährleisten.
Zhuo Li spricht beim Sep Unstructured Data Meetup mit der AI Alliance
In diesem Blog gehen wir auf die wichtigsten Punkte ein, die während der Veranstaltung besprochen wurden, und untersuchen, wie Unternehmen wie Hydrox AI und AI Alliance die kritischen Herausforderungen der KI-Sicherheit und -Bewertung angehen.
Warum ist Sicherheitsbewertung entscheidend?
Zhuo Li betonte die Bedeutung von Sicherheitsbewertungen für Branchen, die mit sensiblen Informationen arbeiten. Während viele LLMs allgemeine Sicherheitsprobleme bewältigen können, reichen sie in realen Szenarien, mit denen Fachkräfte im Gesundheitswesen, Bankwesen oder Bildungsbereich konfrontiert sind, oft nicht aus. Ein LLM kann bei allgemeinen Aufgaben gut abschneiden, aber Schwierigkeiten mit sensiblen Daten wie Krankenakten oder Finanzberichten haben.
Sicherheitsbewertungen für LLMs müssen Faktoren wie Genauigkeit, gesetzliche Vorschriften und ethische Verantwortlichkeiten berücksichtigen. Diese Bewertungen sollten fortlaufend erfolgen, da ständig neue Herausforderungen und Schwachstellen auftreten. Regelmäßige Tests und Verbesserungen sind unerlässlich, um sich an die sich verändernde Landschaft anzupassen.
Darüber hinaus können die Auswirkungen ungenauer oder voreingenommener KI-Ausgaben in risikoreichen Umgebungen kritisch sein. Im Gesundheitswesen könnte beispielsweise eine von einem LLM vorgeschlagene falsche Diagnose zu unangemessenen Behandlungen führen und das Leben von Patienten gefährden. Ebenso könnten im Finanzwesen ungenaue, von KI generierte Risikobewertungen zu erheblichen finanziellen Verlusten für Unternehmen und Einzelpersonen führen. Daher wird die Entwicklung robuster Bewertungsmethodiken zwingend erforderlich, um die Interessen der Stakeholder zu schützen.
Aktuelle Herausforderungen bei der KI-Bewertung
Eines der größten Probleme bei der Bewertung von KI-Modellen sind unzuverlässige Benchmarks. Zwar stehen mehrere Bewertungswerkzeuge zur Verfügung, doch viele werden nicht häufig genug aktualisiert oder decken nicht die spezifischen Bedürfnisse von Branchen ab, die mit sensiblen Daten umgehen. Infolgedessen könnten Unternehmen Entscheidungen auf der Grundlage veralteter oder unvollständiger Informationen treffen, wenn sie auswählen, welches KI-Modell sie verwenden sollen.
Neben dem Mangel an aktuellen Benchmarks gibt es auch einen Mangel an Werkzeugen, die Menschen dabei helfen, die damit verbundenen Risiken vollständig zu verstehen und die richtigen Schritte zu unternehmen, um ihnen zu begegnen. Diese Lücke wollen Unternehmen wie Hydrox in Partnerschaft mit IBM innerhalb der AI Alliance schließen. Sie arbeiten an einem umfassenden Bewertungsframework für LLMs, derzeit mit einer ersten Version, das auf risikoreiche Bereiche zugeschnitten ist. Ziel ist es, sicherzustellen, dass diese Modelle strenge Standards für Sicherheit, rechtliche Konformität und ethische Nutzung erfüllen, was dazu beitragen wird, Fehler und Risiken zu minimieren.
Zu den Hauptzielen dieses Frameworks gehören:
Bewertung von LLMs in kritischen Sektoren wie Gesundheitswesen, Finanzen und Rechtsdienstleistungen.
Entwicklung eines Bewertungsframeworks, das von Domänenexperten und realen Anwendungen gestützt wird.
Proof of Concept (PoC) zur Bewertung der Sicherheit, Skalierbarkeit und Risiken von LLMs.
Branchenweit erste Empfehlungen zur Integration generativer KI unter Berücksichtigung von Sicherheit, technischen Anforderungen und Vorschriften.
Konzentration auf bestehende vortrainierte Modelle und spezifische Aufgaben, die von Experten identifiziert wurden.
Die erste Version dieses Frameworks heißt EPASS (Evaluation Platform for AI Safety and Security) und deckt bereits mehrere Angriffsmethoden ab, wie „artprompt“ und „gptfuzzer“, und analysiert Inhaltskategorien wie sexuelle Inhalte und Fehlinformationen.
Fallstudien aus der Praxis: Gesundheitswesen und Bildung
Zhuo Li stellte einige Fallstudien vor, die zeigen, wie dieses Bewertungsframework in sensiblen Bereichen wie Gesundheitswesen und Bildung eingesetzt werden kann.
LLMs können Ärzte im Gesundheitswesen unterstützen, indem sie Patientennotizen zusammenfassen oder medizinische Bilder analysieren, was die Effizienz erheblich verbessert. Angesichts der Sensibilität von Gesundheitsdaten müssen KI-Systeme jedoch die Einhaltung von Gesetzen wie HIPAA sicherstellen. Das Framework hilft sicherzustellen, dass Ärzte klare Ergebnisse erhalten, indem KI-Modelle auf Verzerrungen bei Diagnose- oder Behandlungsvorschlägen geprüft werden.
Zum Beispiel kann der Einsatz von LLMs zur Vorschlagserstellung von Behandlungsoptionen auf Basis historischer Patientendaten klinische Entscheidungsprozesse beschleunigen. Es ist jedoch entscheidend, dass diese Vorschläge auf genauen und unverzerrten Daten basieren, um potenziellen Schaden für Patienten zu vermeiden. Genau hier werden Sicherheitsbewertungen unerlässlich – nicht nur zur Sicherstellung der Compliance, sondern auch zur Aufrechterhaltung des Vertrauens der Patienten, die sich darauf verlassen müssen, dass ihre Daten sicher verarbeitet werden und dass KI-gestützte Empfehlungen zuverlässig sind.
Im Bildungswesen kann KI für Unterricht, Benotung und Bewertungsentscheidungen eingesetzt werden. Es ist jedoch unerlässlich, Schüler- und Studentendaten zu schützen, Datenschutzvorschriften wie FERPA einzuhalten und die Genauigkeit von KI-Empfehlungen sicherzustellen. Regelmäßige Audits dieser Modelle können helfen, Verzerrungen zu identifizieren und zu beseitigen, wodurch das Vertrauen von Schülern, Studierenden und Lehrkräften in KI-Systeme gefördert wird.
KI kann auch beim personalisierten Lernen unterstützen, indem Bildungsinhalte an die individuellen Bedürfnisse der Lernenden angepasst werden. Dennoch müssen die Modelle regelmäßig evaluiert werden, um zu verhindern, dass bestehende Verzerrungen oder Ungenauigkeiten bei der Benotung verstärkt werden, was die Leistung der Lernenden beeinträchtigen könnte. Ein gut strukturiertes Bewertungsframework kann die Wirksamkeit des personalisierten Lernens erhöhen, indem es sicherstellt, dass sich die Algorithmen angemessen an die Lernstile und Hintergründe der Lernenden anpassen.
EPASS (Evaluation Platform for AI Safety and Security)
Am Ende seines Vortrags stellte Zhuo Li EPASS vor, eine Plattform, die in den vergangenen zehn Monaten entwickelt wurde. Derzeit unterstützt die Plattform allgemeine Anwendungsfälle und verschiedene Angriffsmethoden, mit regelmäßigen Updates und der Ergänzung weiterer domänenspezifischer Anwendungsfälle.
EPASS-VIDEO
Abbildung 1 zeigt das aktuelle Modelldashboard, das das Ranking jedes Modells in vier Bereichen anzeigt:
Sicherheit: Risiken, die Gefahren wie Kriminalität und Hassrede fördern.
Datenschutz: Risiken im Zusammenhang mit Datenverletzungen wie Datenaustausch und Membership Inference.
Security: Verhaltensbezogene Risiken des Modells wie Rollenspiel und Prompt Injection.
Integrität: Risiken im Zusammenhang mit Modellethik wie Urheberrecht und Betrug.
Abbildung 1: Modelldashboard (100 = am sichersten, 0 = am wenigsten sicher)
Diese Modelle werden regelmäßig evaluiert und aktualisiert, und ein Vergleich aller Modelle ist in den Abbildungen 2 und 3 dargestellt. Diese Abbildungen zeigen die Gesamtbewertung basierend auf den oben beschriebenen Bereichen sowie die Bewertungen basierend auf den verschiedenen Angriffsmethoden.
Abbildung 2: Modelle-Leaderboard (Gesamtevaluation)
Unter den derzeit 19 verfügbaren Angriffsmethoden lassen sich die folgenden hervorheben:
Analyzing-based Jailbreak (ABJ): Diese Methode nutzt die Fähigkeit von LLMs zum Analysieren und Schlussfolgern aus und offenbart deren Schwächen bei analytischen Aufgaben.
ArtPrompt: Dies nutzt die Schwierigkeiten von LLMs beim Verständnis von ASCII-Art aus.
DrAttack: Diese Methode zerlegt Prompts und baut sie mithilfe von Synonymsuchen und In-Context Learning neu auf.
Developer: Dies löst Jailbreaks aus, indem Prompts verwendet werden, die den Entwicklermodus nachahmen
Nutzer können Modelle auf der Plattform evaluieren und eine Bewertung für die oben genannten Bereiche und Angriffsmethoden für ihren spezifischen Anwendungsfall erhalten. Diese ermöglichen regelmäßige Aktualisierungen und Verbesserungen der Modelle und liefern Einblicke in die Stärken und Schwächen jedes einzelnen.
Abbildung 3: Modelle-Leaderboard (Angriffsmethoden)
Zusätzlich können Nutzer für jedes Modell die aktuellen Gesamtbewertungen (Abbildung 4) und Bewertungen in den spezifischen Bereichen wie Safety (Abbildung 5), Datenschutz (Abbildung 6), Sicherheit (Abbildung 7) und Integrität (Abbildung 8) genauer untersuchen. Beispielsweise wird die Safety-Bewertung anhand von Themen wie Fehlinformationen, Ethik, Kriminalität und Gewalt evaluiert. Im Bereich Datenschutz sind Faktoren wie Datenerhebung, Löschung und Weitergabe entscheidend. Bei der Sicherheit liegt der Fokus auf Prompt-Injection- und API-Schwachstellen. Schließlich werden im Hinblick auf Integrität Anliegen wie Spam, Betrug und Urheberrechtsverletzungen einbezogen.
Abbildung 4: Gesamtbewertung
Abbildung 5: Safety-Bewertung
Abbildung 6: Datenschutzbewertung
Abbildung 7: Sicherheitsbewertung
Abbildung 8: Integritätsbewertung
Es ist auch möglich, den Plattform-Playground zu nutzen, um Prompts anhand der oben genannten Kriterien zu validieren. Wenn ein Angriff vom Modell erkannt wird, wird das spezifische Problem mit einer kurzen Beschreibung hervorgehoben, wie in Abbildung 9 zu sehen ist.
Diese detaillierte Aufschlüsselung der Evaluationen, die auf der EPASS-Plattform bereitgestellt wird, informiert Nutzer nicht nur über die potenziellen Schwachstellen von LLMs, sondern befähigt sie auch, proaktive Maßnahmen zur Absicherung ihrer Anwendungen zu ergreifen. Durch das Verständnis der verschiedenen Arten, auf die Modelle versagen oder manipuliert werden können, können Stakeholder fundierte Entscheidungen über die Implementierung von Schutzmaßnahmen und Überwachungsmechanismen treffen.
Darüber hinaus sind laufende Kooperationen, wie sie etwa durch AI Alliance ermöglicht werden, zusammen mit Sensibilisierungsinitiativen für Nutzer und Entwickler, in der sich wandelnden Landschaft des KI-Einsatzes von entscheidender Bedeutung. Da LLMs zunehmend in tägliche Abläufe integriert werden, ist es für Teams unerlässlich, sowohl die Fähigkeiten als auch die Grenzen dieser Modelle zu verstehen. Kollaborative Plattformen wie EPASS, die sich mit KI-Ethik, Sicherheit und technischen Einschränkungen befassen, können eine Kultur der verantwortungsvollen KI-Nutzung fördern. Dieser kollektive Ansatz trägt nicht nur dazu bei, potenzielle Fallstricke zu vermeiden, sondern erhöht auch die Gesamtsicherheit und stellt sicher, dass KI-Technologien in Umgebungen mit hohem Risiko effektiv und ethisch eingesetzt werden.
Abbildung 9: Integritätsbewertung
Fazit
Während sich KI weiterentwickelt, wird die Nachfrage nach Sicherheitsbewertungen nur zunehmen. Unternehmen wie Hydrox AI und AI Alliance führen die Bemühungen an, sicherzustellen, dass LLMs in Bereichen mit hohen Anforderungen eingesetzt werden können, ohne Genauigkeit, Sicherheit oder Ethik zu beeinträchtigen. Dabei geht es nicht nur um Funktionalität, sondern darum, eine sichere und verantwortungsvolle Nutzung zu gewährleisten.
Die Präsentation von Zhuo Li hob die Notwendigkeit einer kontinuierlichen Zusammenarbeit zwischen KI-Entwicklern, Fachexperten und Unternehmen hervor. Die Zukunft der KI in Sektoren wie Gesundheitswesen, Finanzen und Bildung hängt von unserer Fähigkeit ab, diese Modelle kontinuierlich zu bewerten und zu verbessern.
Während KI das Potenzial hat, Bereiche mit hohen Anforderungen zu revolutionieren, muss ihre Implementierung durchdacht und sorgfältig erfolgen. Durch die Schaffung umfassender Bewertungsrahmen und Tools schaffen Hydrox und seine Partner eine Grundlage für eine sicherere, verantwortungsvollere KI-gesteuerte Zukunft.
Darüber hinaus ist es angesichts der Weiterentwicklung dieser Technologien entscheidend, dass Stakeholder—including policymakers, industry leaders, and researchers—sich an Diskussionen über die ethischen Implikationen von KI beteiligen. Die Etablierung bewährter Verfahren, Leitlinien und regulatorischer Rahmenbedingungen wird dazu beitragen, Risiken zu mindern und Transparenz beim Einsatz von KI zu fördern. Während wir uns in dieser sich schnell verändernden Landschaft bewegen, wird die Förderung einer Kultur der Verantwortung und Rechenschaftspflicht in der KI-Entwicklung entscheidend dafür sein, sicherzustellen, dass die Vorteile von LLMs genutzt und gleichzeitig potenzielle Schäden minimiert werden.
Weiterlesen
A Few Notes from Databricks Data + AI Summit 2026: Why the Data Layer Matters Again
James Luan shares notes from Databricks Data + AI Summit 2026 on why production AI is pushing the data layer back to the center of infrastructure.
Introducing Business Critical Plan: Enterprise-Grade Security and Compliance for Mission-Critical AI Applications
Discover Zilliz Cloud’s Business Critical Plan—offering advanced security, compliance, and uptime for mission-critical AI and vector database workloads.
Context Engineering Strategies for AI Agents: A Developer’s Guide
Learn practical context engineering strategies for AI agents. Explore frameworks, tools, and techniques to improve reliability, efficiency, and cost.