Verbesserung verhaltenswissenschaftlicher Experimente mit LLMs und Milvus
„Knöpfe“ drücken und loslassen — Können wir unsere Emotionen neu rahmen?
Absolut. Dr. Damon Abraham, ein Verhaltenswissenschaftler mit einem Doktortitel in Psychologie, hat ein Forschungsprojekt, das zeigt, wie die Neubewertung eines Bildes unsere Valenz- und Erregungsemotionen verschieben kann. Die Aufgabe besteht also darin, herauszufinden, was in einem Bild diese Verschiebung ermöglicht und wie man danach sucht. Hier kommen multidimensionale Bild-Embeddings und Vektordatenbanken ins Spiel.
In seinem Vortrag 'Von Bildern zu Bedeutungen zu Vektordatenbanken’' beim Zilliz Unstructured Data Meetup in Seattle am 13. Februar 2024 spricht Dr. Damon Abraham über sein innovatives Forschungsprojekt, das darauf abzielt, mithilfe von LLM- und Vektordatenbanktechnologien ein Stimuli-Repository für die experimentelle Psychologie zu erstellen. Diese interdisziplinäre Initiative umfasst die Zusammenarbeit mit der University of Denver sowie Forschern des Institute of Love and Time und des Institute of Noetic Sciences. Sie zielt darauf ab, eine normative Open-Source-Datenbank mit Bildern und Techniken zu entwickeln, um die dynamische psychologische Distanz zwischen Bildern und ihr Potenzial für eine erfolgreiche Neubewertung zu messen.
Sehen Sie sich den Vortrag von Dr. Damon Abraham an
Das Psychologieprojekt
Tausende menschliche Bewerter bewerteten 2.500 Bilder aus einer normativen Datenbank und maßen jedes davon hinsichtlich emotionaler Intensität (Erregung) und Valenz (positiv vs. negativ) über 18 verschiedene Stimulusklassen hinweg. Ziel ist es, die emotionale Bedeutung dieser Bilder besser zu verstehen, indem eine Normalverteilung der Reaktionen erstellt wird, um bestimmte Bilder auszuwählen, die in Verhaltensstudien präzise emotionale Reaktionen auslösen.
Im Zentrum von Dr. Abrahams Arbeit steht die Emotionsregulationstechnik der kognitiven Neubewertung, bei der die Bedeutung eines Stimulus neu gerahmt wird, um seine emotionale Wirkung zu verändern.
Laut der_ National Library of Medicine_ ist Neubewertung eine häufig verwendete und umfassend untersuchte Strategie zur Emotionsregulation, die darin besteht, die Bedeutung einer Situation neu zu rahmen, um ihre emotionale Wirkung zu verändern (Gross, 1998).
Diese Technik der kognitiven Neubewertung zeigt, dass Bilder bestimmte kognitive und emotionale Reaktionen hervorrufen können, was sie zu einem wertvollen Mechanismus in psychologischen Experimenten macht. Diese Forschung zeigt wirkungsvoll, wie unterschiedliche kontextuelle Interpretationen von Bildern unsere Gefühle verändern können, und liefert tiefgreifende Einblicke in die Emotionsregulation.
Kognitive Neubewertung untersucht Verschiebungen emotionaler Reaktionen gegenüber dem natürlichen Verlauf. Nehmen wir das folgende Bild eines Autounfalls als Beispiel. Auf den ersten Blick könnte der Betrachter schockiert sein und es grausam finden. Bei einer zweiten Analyse könnten positive Aspekte wahrgenommen werden, etwa dass niemand auf dem Bild verletzt ist, oder sogar die Interpretation, dass es sich um ein inszeniertes Bild und nicht um eine tatsächliche Tragödie handelt. Indem man also verändert, wie man denkt, kann man verändern, wie man sich fühlt.
Bei einem Unfall beschädigtes Taxi.
Bei einem Unfall beschädigtes Taxi.
Wenn Bilder kognitive und emotionale Reaktionen auslösen können, dann wäre eine normative Bilddatenbank, die wir auf Grundlage der Stimulusähnlichkeit durchsuchen können, in psychologischen Experimenten von unschätzbarem Wert.
Psychologische Distanz messen
Eine zentrale Erkenntnis aus diesem Projekt ist, dass psychologische Distanz nicht als festes Maß behandelt werden sollte, da der Kontext sie stark beeinflusst. Dynamische Kontrollgriffe können fortgeschrittene Anwendungsfälle der Bildverarbeitung ermöglichen.
Das Forschungsteam verwendete die Construal Level Theory (CLT) als Rahmenwerk, um psychologische Distanz zu verstehen und zu messen.
Laut Wikipedia ist „Construal Level Theory (CLT) eine Theorie der Sozialpsychologie, die die Beziehung zwischen psychologischer Distanz und dem Ausmaß beschreibt, in dem das Denken von Menschen (z. B. über Objekte und Ereignisse) abstrakt oder konkret _ist. Die Kernidee der CLT ist, dass je weiter ein Objekt vom Individuum entfernt ist, desto abstrakter darüber gedacht wird, während je näher das Objekt ist, desto konkreter darüber gedacht wird.“
Das Projekt hebt hervor, dass mentale Repräsentationen von proximal, hier und jetzt (z. B. direkte Sinneserfahrung), bis hin zu einem zeitlich, räumlich oder sogar faktisch weiter entfernten Szenario schwanken (z. B. fiktives Bild aus der Vergangenheit). Im Wesentlichen erweitert sich beim Übergang von Konkretheit (Low-Level Construal) zu Abstraktion (High-Level Construal) das kontextuelle Netzwerk verwandter Konzepte, wodurch die Komplexität der kognitiven Verarbeitung bei der Bewertung eines Bildes zunimmt.
Construals dienen als kognitive Mechanismen, die unsere Perspektive auf psychologische Distanz modulieren. Wenn wir Ereignisse oder Szenarien konzeptualisieren, die zeitlich oder räumlich entfernt sind, neigen wir dazu, abstrakteres Denken einzusetzen und uns auf das „Warum“ zu konzentrieren — die umfassenderen Gründe, Ideale oder Prinzipien, die beteiligt sind. Wenn diese Ereignisse näher rücken, verschiebt sich unser Denken hin zum unmittelbareren und praktischeren „Wie“ — den konkreten Handlungen, die für den Umgang mit der Situation erforderlich sind.
Dieser Wandel von abstraktem zu konkretem Denken hilft bei der Planung und Bewältigung zukünftiger Szenarien und verbessert unsere Fähigkeit, potenzielle Einwände oder Herausforderungen effektiver zu meistern.
Die richtigen Daten erhalten
Psychologische Distanz wird entlang mehrerer Dimensionen definiert, wobei zeitliche, räumliche, soziale und hypothetische Distanzen als die wichtigsten gelten.
Wie in der Präsentation hervorgehoben wurde, können Tools wie Google Vision Bilder klassifizieren. Es leistet hervorragende Arbeit bei der Identifizierung dessen, was im Bild zu sehen ist. Es erfasst jedoch nicht seine tiefere Bedeutung — es kann Ihnen die Objekte in der Szene nennen, aber nicht viel darüber aussagen, wie eine Person auf dieses Bild reagieren könnte. Der Übergang vom „Was“ zur Untersuchung des „Wie“ ist zentral für den Projektvorschlag.
In der Studie wurden Tausende von Teilnehmenden von der University of Denver und Amazon Mechanical Turk gebeten, jedes Bild anhand von 18 verschiedenen psychologischen Dimensionen zu bewerten, wie etwa emotionaler Distanz, Bewegung, Verkörperung, sozialer und physischer Distanz, was zu über 760.000 einzigartigen Bewertungen führte.
Dieser umfangreiche Datensatz bietet eine vollständige Verteilung von Bewertungen und dient als wertvolle Ressource im Rahmen der Construal Level Theory und anderer psychologischer Forschung. Er bietet robuste Daten, die durch die Linse dieser Theorien analysiert und interpretiert werden können, sodass Forschende Einblicke in verschiedene Dimensionen von Bildern und deren psychologische Implikationen gewinnen können.
Die Bewertung versah jedes Bild mit Dimensionen, die zusätzliche wahrnehmungsbezogene Informationen bieten.
Die Leistungsfähigkeit von LLMs und Vektordatenbanken nutzen
Das Team begann damit, visuelle Embeddings mithilfe des EfficientNet-B4 model zu extrahieren, um den semantischen Inhalt und die allgemeine Komposition der Bilder zu erfassen.
Sie reicherten die Daten weiter an, indem sie ein multimodales Modell, LLaVA, verwendeten, um detaillierte Beschreibungen (bis zu 256 Tokens) jedes Bildes zu generieren. Diese Beschreibungen wurden anschließend mithilfe des Modells text-embedding-ada-002 von OpenAI in Vektor-Embeddings umgewandelt.
Der nächste Schritt besteht darin, die Embeddings in eine Vektordatenbank wie Milvus und Zilliz Cloud (das vollständig verwaltete Milvus) zu übertragen, um ihre Multidimensionalität in großem Maßstab besser zu handhaben und zu verarbeiten.
Dieser Ansatz ermöglicht es dem Team, semantische und visuelle Ähnlichkeitssuchen anhand der in jedem Bild eingebetteten Informationen zu messen und durchzuführen, wodurch die Fähigkeit verbessert wird, Bilder mit ähnlichen emotionalen Wirkungen oder kognitiven Reizen zu finden.
Da die Bild-Embeddings mit zusätzlichen Informationen angereichert und in einer Vektordatenbank für schnelle Analysen verfügbar sind, können sie in der Verhaltenswissenschaft eingesetzt werden, mit weitreichenden Anwendungen in Therapie, Sicherheit, Produktdesign und Marketingstrategie, neben anderen Anwendungsfällen.
Reappraisal-Affordances in den Griff bekommen
Die Studie legte eine Grundlage für das Verständnis der emotionalen Veränderungen, die durch Reappraisals verursacht werden. Die Teilnehmenden wurden angewiesen, ein Bild anzusehen, es zu bewerten und es dann neu zu beurteilen, um zu sehen, wie sich ihre emotionalen Reaktionen veränderten. Die Ergebnisse zeigten, dass Menschen negativer reagieren, wenn sie ihren Emotionen erlauben, sich auf natürliche Weise zu entfalten.
Über die Bewertung von Valenz und Erregung von Bildern hinaus ist es jedoch faszinierend zu untersuchen, was diese emotionalen Veränderungen auslöst und was es Individuen ermöglicht, ihre Reaktionen auf ein Bild zu verändern. Diese Untersuchung betrachtet, wie unterschiedliche Bilder Möglichkeiten für kognitive Neuinterpretation „ermöglichen“ oder „einschränken“, bezeichnet als „Reappraisal-Affordances“.
Das von Gibson eingeführte Konzept der Affordances beschreibt, wie die Eigenschaften von Objekten ihre möglichen Verwendungen nahelegen und dadurch unsere Interaktionen beeinflussen. In psychologischer Hinsicht können die inhärenten semantischen Eigenschaften eines Bildes und die Bandbreite der Assoziationen, die es hervorruft, seine Fähigkeit zum Reappraisal beeinflussen.
Die Forschung versucht zu bestimmen, wie diese Eigenschaften mit der Anfälligkeit eines Bildes für kognitives Reappraisal korrelieren, und erweitert potenziell unser Verständnis davon, wie Kontext und Wahrnehmung die Emotionsregulation beeinflussen. Beispielsweise bietet ein knurrender Hund aufgrund seiner niedrigstufigen Deutung und seines begrenzten kontextuellen Umfangs weniger Möglichkeiten für Reappraisal. Im Gegensatz dazu bietet ein Bild eines Nazis, das innerhalb einer hochstufigen Deutung positioniert und in ein breiteres semantisches Netzwerk eingebettet ist, größere Affordances für Neuinterpretation.
Zusammenfassung
Dr. Damon Abraham leistet Pionierarbeit bei der Erforschung der emotionalen Resonanz von Bildern, ihrer Fähigkeit, kognitives Reappraisal hervorzurufen, und wie man dies mit LLMs und einer Vektordatenbank wie Milvus und Zilliz Cloud instrumentieren kann. Seine Forschung deckt die Schlüsselkomponenten innerhalb von Bildklassen auf, die zuverlässig ihre Fähigkeit vorhersagen können, emotionale Veränderungen zu erleichtern, und wirft damit Licht auf die nuancierten Mechanismen, die unseren Reaktionen auf visuelle Reize zugrunde liegen. Seine Arbeit eröffnet einen weiten Horizont an Anwendungen und Anwendungsfällen, die nutzen, wie Bilder emotionale Reaktionen hervorrufen und Entscheidungsprozesse beeinflussen.
Spannend, nicht wahr? Haben Sie Ideen für eine Anwendung? Legen Sie los!
Wenn Sie mehr erfahren oder Ihr Projekt zum Aufbau einer multidimensionalen Vektordatenbank von Bildern für die Stimulus-Ähnlichkeitssuche beginnen möchten, sind Sie herzlich eingeladen, unserem Discord channel beizutreten. Wir bieten eine Fülle von Ressourcen und eine unterstützende Community, die Ihnen beim Einstieg hilft.
Weiterlesen
Introducing Zilliz CLI and Agent Skills for Zilliz Cloud
Manage your vector database from your terminal or AI coding agent. Zilliz CLI and Agent Skills work with Claude Code, Cursor, Codex, and Copilot.
Balancing Precision and Performance: How Zilliz Cloud's New Parameters Help You Optimize Vector Search
Optimize vector search with Zilliz Cloud’s level and recall features to tune accuracy, balance performance, and power AI applications.
Vector Databases vs. Time Series Databases
Use a vector database for similarity search and semantic relationships; use a time series database for tracking value changes over time.