Migliorare gli esperimenti di scienza del comportamento con LLM e Milvus
Premere e rilasciare “pulsanti” — Possiamo riformulare le nostre emozioni?
Assolutamente sì. Dr. Damon Abraham, uno scienziato comportamentale con un PhD in Psicologia, ha un progetto di ricerca che dimostra come rivalutare un’immagine possa modificare le nostre emozioni di valenza e attivazione. Pertanto, la sfida è scoprire che cosa in un’immagine consenta tale cambiamento e come cercarlo. È qui che entrano in gioco gli embedding di immagini multidimensionali e i database vettoriali.
Nella sua presentazione 'Dalle immagini ai significati ai database vettoriali’' allo Zilliz Unstructured Data Meetup di Seattle il 13 febbraio 2024, il Dr. Damon Abraham parla del suo innovativo progetto di ricerca volto a creare un repository di stimoli per la psicologia sperimentale utilizzando tecnologie LLM e di database vettoriali. Questa iniziativa interdisciplinare prevede la collaborazione con l’Università di Denver e ricercatori dell’Institute of Love and Time e dell’Institute of Noetic Sciences. Mira a sviluppare un database normativo open-source di immagini e tecniche per misurare la distanza psicologica dinamica tra le immagini e il loro potenziale per una rivalutazione riuscita.
Guarda l’intervento del Dr. Damon Abraham
Il progetto di psicologia
Migliaia di valutatori umani hanno esaminato 2.500 immagini provenienti da un database normativo, misurando ciascuna in termini di intensità emotiva (attivazione) e valenza (positiva vs. negativa) attraverso 18 classi distinte di stimoli. L’obiettivo è comprendere meglio il significato emotivo di queste immagini creando una distribuzione normale delle risposte per selezionare immagini specifiche in grado di innescare reazioni emotive precise negli studi comportamentali.
Al centro del lavoro del Dr. Abraham c’è la tecnica di regolazione emotiva della rivalutazione cognitiva, che consiste nel riformulare il significato di uno stimolo per cambiarne l’impatto emotivo.
Secondo la_ National Library of Medicine_, la rivalutazione è una strategia di regolazione emotiva comunemente usata e ampiamente studiata che implica la riformulazione del significato di una situazione per modificarne l’impatto emotivo (Gross, 1998).
Questa tecnica di rivalutazione cognitiva dimostra che le immagini possono evocare particolari risposte cognitive ed emotive, rendendola un meccanismo prezioso negli esperimenti psicologici. Questa ricerca mostra efficacemente come diverse interpretazioni contestuali delle immagini possano cambiare ciò che proviamo, offrendo intuizioni profonde sulla regolazione emotiva.
La rivalutazione cognitiva esplora i cambiamenti nella risposta emotiva rispetto allo sviluppo naturale. Prendiamo come esempio la seguente immagine di un incidente automobilistico. A prima vista, l’osservatore potrebbe rimanere scioccato e trovarla raccapricciante. A una seconda analisi, potrebbero essere percepiti aspetti positivi, come il fatto che nessuno sia ferito nell’immagine o persino l’interpretazione che si tratti di un’immagine fabbricata piuttosto che di una tragedia reale. Quindi, cambiando il modo in cui pensi, puoi cambiare il modo in cui ti senti.
Taxi car damaged in a crash.
Taxi danneggiato in un incidente.
Se le immagini possono innescare reazioni cognitive ed emotive, allora un database normativo di immagini in cui possiamo effettuare ricerche basate sulla somiglianza degli stimoli sarebbe inestimabile negli esperimenti psicologici.
Misurare la distanza psicologica
Un’intuizione chiave di questo progetto è che la distanza psicologica non dovrebbe essere trattata come una misura fissa, perché il contesto la influenza fortemente. Avere maniglie di controllo dinamiche può liberare casi d’uso avanzati di elaborazione delle immagini.
Il team di ricerca ha utilizzato la Construal Level Theory (CLT) come quadro di riferimento per comprendere e misurare la distanza psicologica.
Secondo Wikipedia, “La Construal level theory (CLT) è una teoria della psicologia sociale che descrive la relazione tra distanza psicologica e la misura in cui il pensiero delle persone (ad es., riguardo a oggetti ed eventi) è astratto o concreto_. L’idea centrale della CLT è che quanto più un oggetto è distante dall’individuo, tanto più sarà pensato in modo astratto, mentre quanto più l’oggetto è vicino, tanto più sarà pensato in modo concreto.”
Il progetto evidenzia che le rappresentazioni mentali oscillano da ciò che è prossimale, qui e ora (ad es., esperienza sensoriale diretta) a uno scenario più distante nel tempo, nello spazio o persino nella fattualità (ad es., immagine immaginaria del passato). In sostanza, quando passiamo dalla concretezza (costrual di basso livello) all’astrazione (costrual di alto livello), la rete contestuale di concetti correlati si amplia, aumentando la complessità dell’elaborazione cognitiva coinvolta nella valutazione di un’immagine.
I construal fungono da meccanismi cognitivi che modulano la nostra prospettiva sulla distanza psicologica. Quando concettualizziamo eventi o scenari temporalmente o spazialmente distanti, tendiamo a impiegare un ragionamento più astratto, concentrandoci sul “perché” — le ragioni, gli ideali o i principi più ampi coinvolti. Man mano che questi eventi si avvicinano, il nostro pensiero si sposta verso il più immediato e pratico “come” — le azioni specifiche richieste per affrontare la situazione.
Questo passaggio dal pensiero astratto a quello concreto aiuta a pianificare e gestire scenari futuri, migliorando la nostra capacità di affrontare potenziali obiezioni o sfide in modo più efficace.
Ottenere i dati giusti
La distanza psicologica è definita lungo diverse dimensioni, con le distanze temporale, spaziale, sociale e ipotetica considerate le più importanti.
Come sottolineato nella presentazione, strumenti come Google Vision possono classificare le immagini. Svolge un ottimo lavoro nell’identificare ciò che è presente nell’immagine. Tuttavia, non ne coglie il significato più profondo: può indicarti gli oggetti nella scena, ma non molto su come una persona potrebbe reagire a quell’immagine. Passare dal “cosa” all’esplorazione del “come” è al centro della proposta del progetto.
Nello studio, a migliaia di partecipanti dell’University of Denver e di Amazon Mechanical Turk è stato chiesto di valutare ciascuna immagine su 18 dimensioni psicologiche distinte, come distanza emotiva, movimento, incarnazione, distanza sociale e fisica, producendo oltre 760.000 valutazioni uniche.
Questo ricco dataset fornisce una distribuzione completa delle valutazioni, fungendo da risorsa preziosa all’interno del quadro della Construal Level Theory e di altre ricerche psicologiche. Offre dati solidi che possono essere analizzati e interpretati attraverso la lente di queste teorie, consentendo ai ricercatori di ottenere intuizioni sulle varie dimensioni delle immagini e sulle loro implicazioni psicologiche.
La valutazione ha fornito a ciascuna immagine dimensioni che offrono informazioni percettive aggiuntive.
Sfruttare la potenza degli LLM e dei database vettoriali
Il team ha iniziato estraendo embedding visivi utilizzando il modello EfficientNet-B4 per catturare il contenuto semantico e la composizione generale delle immagini.
Ha inoltre arricchito i dati utilizzando un modello multimodale, LLaVA, per generare descrizioni dettagliate (fino a 256 token) di ciascuna immagine. Queste descrizioni sono state poi convertite in embedding vettoriali utilizzando il modello text-embedding-ada-002 di OpenAI.
Il passo successivo consiste nel trasferire gli embedding in un database vettoriale, come Milvus e Zilliz Cloud (il Milvus completamente gestito), per gestire ed elaborare meglio la sua multidimensionalità su larga scala.
Questo approccio consente al team di misurare ed eseguire ricerche di similarità semantica e visiva sulle informazioni incorporate in ciascuna immagine, migliorando la capacità di trovare immagini con impatti emotivi o richiami cognitivi simili.
Con gli embedding delle immagini arricchiti con informazioni aggiuntive e disponibili in un database vettoriale per un’analisi rapida, possono essere utilizzati nella scienza comportamentale, con vaste applicazioni nella terapia, nella sicurezza, nella progettazione di prodotti e nella strategia di marketing, tra gli altri casi d’uso.
Comprendere le Affordance di Rivalutazione
Lo studio ha posto le basi per comprendere i cambiamenti emotivi causati dalle rivalutazioni. Ai partecipanti è stato chiesto di osservare un’immagine, valutarla e poi riesaminarla per vedere come cambiassero le loro risposte emotive. I risultati hanno rivelato che le persone rispondono in modo più negativo quando lasciano che le proprie emozioni si sviluppino naturalmente.
Tuttavia, oltre a valutare la valenza e l’attivazione delle immagini, è interessante esplorare cosa inneschi questi cambiamenti emotivi e cosa consenta agli individui di modificare le proprie reazioni a un’immagine. Questa esplorazione esamina in che modo immagini diverse "offrono" o "limitano" opportunità di reinterpretazione cognitiva, denominate 'affordance di rivalutazione.'
Il concetto di affordance, introdotto da Gibson, descrive come le caratteristiche degli oggetti suggeriscano i loro possibili usi, influenzando così le nostre interazioni. In termini psicologici, le proprietà semantiche intrinseche di un’immagine e la gamma di associazioni che evoca possono influire sulla sua capacità di rivalutazione.
La ricerca mira a determinare come queste proprietà siano correlate alla suscettibilità di un’immagine alla rivalutazione cognitiva, ampliando potenzialmente la nostra comprensione di come contesto e percezione influenzino la regolazione emotiva. Ad esempio, un cane ringhiante presenta meno opportunità di rivalutazione a causa della sua interpretazione di basso livello e del suo ambito contestuale limitato. Al contrario, un’immagine di un nazista, collocata all’interno di un’interpretazione di alto livello e inserita in una rete semantica più ampia, offre maggiori affordance per la reinterpretazione.
Conclusioni
Il Dr. Damon Abraham sta aprendo la strada a un’esplorazione della risonanza emotiva delle immagini, della loro capacità di evocare una rivalutazione cognitiva e di come strumentarla con LLM e un database vettoriale come Milvus e Zilliz Cloud. La sua ricerca individua i componenti chiave all’interno delle classi di immagini che possono prevedere in modo affidabile la loro capacità di facilitare cambiamenti emotivi, facendo così luce sui meccanismi sfumati alla base delle nostre risposte agli stimoli visivi. Il suo lavoro apre un vasto orizzonte di applicazioni e casi d’uso che sfruttano il modo in cui le immagini evocano risposte emotive e influenzano i processi decisionali.
Entusiasmante, vero? Hai idee per un’applicazione? Inizia subito!
Se desideri saperne di più o avviare il tuo progetto per costruire un database vettoriale multidimensionale di immagini per la ricerca di similarità degli stimoli, ad esempio, sei il benvenuto nel nostro canale Discord. Mettiamo a disposizione numerose risorse e una community di supporto per aiutarti a iniziare.
Continua a leggere
Introducing Functions and Model Inference on Zilliz Cloud: Automatic Embedding and Reranking with Hosted Models
Zilliz Cloud Functions auto-generate embeddings via OpenAI, Voyage AI, Cohere, or Zilliz Hosted Models. Built-in reranking — just insert text and search.
Introducing Business Critical Plan: Enterprise-Grade Security and Compliance for Mission-Critical AI Applications
Discover Zilliz Cloud’s Business Critical Plan—offering advanced security, compliance, and uptime for mission-critical AI and vector database workloads.
1 Table = 1000 Words? Foundation Models for Tabular Data
TableGPT2 automates tabular data insights, overcoming schema variability, while Milvus accelerates vector search for efficient, scalable decision-making.