Améliorer les expériences en sciences du comportement avec les LLM et Milvus
Appuyer et désappuyer sur des « boutons » — Pouvons-nous recadrer nos émotions ?
Absolument. Dr. Damon Abraham, un scientifique comportemental titulaire d’un doctorat en psychologie, mène un projet de recherche démontrant comment la réévaluation d’une image peut modifier nos émotions de valence et d’activation. Ainsi, la quête consiste à découvrir ce qui, dans une image, permet ce changement et comment le rechercher. C’est là que les embeddings d’images multidimensionnels et les bases de données vectorielles entrent en jeu.
Dans sa présentation « From Images to Meanings to Vector Databases »' lors du Zilliz Unstructured Data Meetup à Seattle le 13 février 2024, Dr. Damon Abraham parle de son projet de recherche innovant visant à créer un référentiel de stimuli pour la psychologie expérimentale à l’aide de technologies de LLM et de bases de données vectorielles. Cette initiative interdisciplinaire implique une collaboration avec l’Université de Denver et des chercheurs de l’Institute of Love and Time et de l’Institute of Noetic Sciences. Elle vise à développer une base de données normative open source d’images et de techniques pour mesurer la distance psychologique dynamique entre les images et leur potentiel de réévaluation réussie.
Regarder l’intervention du Dr. Damon Abraham
Le projet de psychologie
Des milliers d’évaluateurs humains ont évalué 2 500 images issues d’une base de données normative, en mesurant chacune d’elles selon l’intensité émotionnelle (activation) et la valence (positive vs. négative) à travers 18 classes distinctes de stimuli. L’objectif est de mieux comprendre la signification émotionnelle de ces images en créant une distribution normale des réponses afin de sélectionner des images spécifiques capables de déclencher des réactions émotionnelles précises dans des études comportementales.
Au cœur du travail du Dr. Abraham se trouve la technique de régulation émotionnelle appelée réévaluation cognitive, qui consiste à recadrer la signification d’un stimulus afin de modifier son impact émotionnel.
Selon la_ National Library of Medicine_, la réévaluation est une stratégie de régulation émotionnelle couramment utilisée et largement étudiée qui consiste à recadrer la signification d’une situation afin d’en modifier l’impact émotionnel (Gross, 1998).
Cette technique de réévaluation cognitive démontre que les images peuvent susciter des réponses cognitives et émotionnelles particulières, ce qui en fait un mécanisme précieux dans les expériences psychologiques. Cette recherche montre efficacement comment différentes interprétations contextuelles des images peuvent changer nos sentiments, fournissant des perspectives profondes sur la régulation émotionnelle.
La réévaluation cognitive explore les changements de réponse émotionnelle par rapport au déroulement naturel. Prenons comme exemple l’image suivante d’un accident de voiture. À première vue, le spectateur pourrait être choqué et la trouver macabre. Lors d’une seconde analyse, des aspects positifs pourraient être perçus, comme le fait que personne ne soit blessé sur l’image, ou même l’interprétation selon laquelle il s’agit d’une image fabriquée plutôt que d’une tragédie réelle. Ainsi, en changeant votre façon de penser, vous pouvez changer votre façon de ressentir.
Taxi endommagé dans un accident.
Taxi endommagé dans un accident.
Si les images peuvent déclencher des réactions cognitives et émotionnelles, alors une base de données normative d’images que nous pouvons rechercher selon la similarité des stimuli serait inestimable dans les expériences psychologiques.
Mesurer la distance psychologique
Une idée clé de ce projet est que la distance psychologique ne doit pas être traitée comme une mesure fixe, car le contexte l’influence fortement. Disposer de leviers de contrôle dynamiques peut libérer des cas d’utilisation avancés du traitement d’images.
L’équipe de recherche a employé la théorie des niveaux de représentation (Construal Level Theory, CLT) comme cadre pour comprendre et mesurer la distance psychologique.
Selon Wikipédia, « la théorie des niveaux de représentation (CLT) est une théorie en psychologie sociale qui décrit la relation entre la distance psychologique et la mesure dans laquelle la pensée des personnes (par exemple, à propos d’objets et d’événements) est abstraite ou concrète_. L’idée centrale de la CLT est que plus un objet est éloigné de l’individu, plus il sera pensé de manière abstraite, tandis que plus l’objet est proche, plus il sera pensé de manière concrète. »
Le projet souligne que les représentations mentales fluctuent d’un état proximal, ici et maintenant (par exemple, l’expérience sensorielle directe), vers un scénario plus éloigné dans le temps, l’espace, voire la factualité (par exemple, une image fictive du passé). Essentiellement, à mesure que nous passons du concret (représentation de bas niveau) à l’abstraction (représentation de haut niveau), le réseau contextuel des concepts associés s’élargit, augmentant la complexité du traitement cognitif impliqué lors de l’évaluation d’une image.
Les représentations servent de mécanismes cognitifs qui modulent notre perspective sur la distance psychologique. Lorsque nous conceptualisons des événements ou des scénarios éloignés dans le temps ou l’espace, nous avons tendance à employer un raisonnement plus abstrait, en nous concentrant sur le « pourquoi » — les raisons, idéaux ou principes plus larges en jeu. À mesure que ces événements se rapprochent, notre pensée se déplace vers le « comment », plus immédiat et pratique — les actions spécifiques requises pour faire face à la situation.
Ce passage de la pensée abstraite à la pensée concrète aide à planifier et à gérer les scénarios futurs, renforçant notre capacité à surmonter plus efficacement les objections ou défis potentiels.
Obtenir les bonnes données
La distance psychologique est définie selon plusieurs dimensions, les distances temporelle, spatiale, sociale et hypothétique étant considérées comme les plus importantes.
Comme cela a été souligné dans la présentation, des outils tels que Google Vision peuvent classifier les images. Il identifie très bien ce qui se trouve dans l’image. Cependant, il n’en saisit pas le sens plus profond : il peut vous indiquer les objets présents dans la scène, mais pas grand-chose sur la manière dont une personne pourrait réagir à cette image. Passer du « quoi » à l’exploration du « comment » est au cœur de la proposition du projet.
Dans l’étude, des milliers de participants de l’Université de Denver et d’Amazon Mechanical Turk ont été invités à évaluer chaque image selon 18 dimensions psychologiques distinctes, telles que la distance émotionnelle, le mouvement, l’incarnation, la distance sociale et la distance physique, ce qui a donné lieu à plus de 760 000 évaluations uniques.
Ce riche jeu de données fournit une distribution complète des évaluations, constituant une ressource précieuse dans le cadre de la théorie des niveaux de représentation et d’autres recherches en psychologie. Il offre des données robustes qui peuvent être analysées et interprétées à travers le prisme de ces théories, permettant aux chercheurs d’obtenir des éclairages sur diverses dimensions des images et leurs implications psychologiques.
L’évaluation a fourni à chaque image des dimensions offrant des informations perceptives supplémentaires.
Exploiter la puissance des LLMs et des bases de données vectorielles
L’équipe a commencé par extraire des embeddings visuels à l’aide du modèle EfficientNet-B4 afin de capturer le contenu sémantique et la composition générale des images.
Elle a ensuite enrichi les données à l’aide d’un modèle multimodal, LLaVA, afin de générer des descriptions détaillées (jusqu’à 256 tokens) de chaque image. Ces descriptions ont ensuite été converties en embeddings vectoriels à l’aide du modèle text-embedding-ada-002 d’OpenAI.
L’étape suivante consiste à transférer les plongements vers une base de données vectorielle, telle que Milvus et Zilliz Cloud (le Milvus entièrement géré), afin de mieux gérer et traiter sa multidimensionnalité à grande échelle.
Cette approche permet à l’équipe de mesurer et d’effectuer des recherches de similarité sémantique et visuelle sur les informations intégrées dans chaque image, améliorant ainsi la capacité à trouver des images ayant des impacts émotionnels ou des attraits cognitifs similaires.
Grâce aux plongements d’images enrichis d’informations supplémentaires et disponibles dans une base de données vectorielle pour une analyse rapide, ils peuvent être utilisés en science comportementale, avec de vastes applications en thérapeutique, en sécurité, en conception de produits et en stratégie marketing, entre autres cas d’utilisation.
Comprendre les affordances de réévaluation
L’étude a posé les bases pour comprendre les changements émotionnels provoqués par les réévaluations. Les participants ont été invités à regarder une image, à l’évaluer, puis à la réévaluer afin d’observer comment leurs réponses émotionnelles changeaient. Les résultats ont révélé que les personnes réagissent plus négativement lorsqu’elles laissent leurs émotions se déployer naturellement.
Cependant, au-delà de l’évaluation de la valence et de l’activation des images, il est fascinant d’explorer ce qui déclenche ces changements émotionnels et ce qui permet aux individus de modifier leurs réactions à une image. Cette exploration examine comment différentes images « offrent » ou « restreignent » les possibilités de réinterprétation cognitive, appelées « affordances de réévaluation ».
Le concept d’affordances, introduit par Gibson, décrit comment les caractéristiques des objets suggèrent leurs usages possibles, influençant ainsi nos interactions. En termes psychologiques, les propriétés sémantiques inhérentes d’une image et l’éventail d’associations qu’elle invoque peuvent affecter sa capacité à être réévaluée.
La recherche cherche à déterminer comment ces propriétés sont corrélées à la susceptibilité d’une image à la réévaluation cognitive, ce qui pourrait élargir notre compréhension de la manière dont le contexte et la perception affectent la régulation émotionnelle. Par exemple, un chien grognant offre moins de possibilités de réévaluation en raison de son faible niveau de construal et de sa portée contextuelle limitée. En revanche, l’image d’un Nazi, située dans un construal de haut niveau et intégrée à un réseau sémantique plus large, offre de plus grandes affordances pour la réinterprétation.
Conclusion
Le Dr Damon Abraham ouvre la voie à une exploration de la résonance émotionnelle des images, de leur capacité à susciter une réévaluation cognitive et de la manière de l’instrumenter avec des LLM et une base de données vectorielle comme Milvus et Zilliz Cloud. Ses recherches mettent au jour les composants clés au sein des classes d’images qui peuvent prédire de manière fiable leur capacité à faciliter les changements émotionnels, éclairant ainsi les mécanismes nuancés qui sous-tendent nos réponses aux stimuli visuels. Son travail ouvre un vaste horizon d’applications et de cas d’utilisation qui exploitent la manière dont les images évoquent des réponses émotionnelles et influencent les processus de prise de décision.
Passionnant, n’est-ce pas ? Vous avez des idées d’application ? Lancez-vous !
Si vous souhaitez en savoir plus ou lancer votre projet de construction d’une base de données vectorielle multidimensionnelle d’images pour la recherche de similarité de stimuli, par exemple, vous êtes les bienvenus sur notre canal Discord. Nous mettons à votre disposition une multitude de ressources et une communauté solidaire pour vous aider à démarrer.
Continuer à lire
A Few Notes from Databricks Data + AI Summit 2026: Why the Data Layer Matters Again
James Luan shares notes from Databricks Data + AI Summit 2026 on why production AI is pushing the data layer back to the center of infrastructure.
Zilliz Cloud Now Available in AWS Europe (Ireland)
Zilliz Cloud launches in AWS eu-west-1 (Ireland) — bringing low-latency vector search, EU data residency, and full GDPR-ready infrastructure to European AI teams. Now live across 30 regions on five cloud providers.
What is the K-Nearest Neighbors (KNN) Algorithm in Machine Learning?
KNN is a supervised machine learning technique and algorithm for classification and regression. This post is the ultimate guide to KNN.