LLM과 Milvus로 행동 과학 실험 개선하기
“버튼” 누르기와 누르지 않기 — 우리의 감정을 재구성할 수 있을까?
물론입니다. 심리학 박사 학위를 보유한 행동 과학자 Dr. Damon Abraham은 이미지를 재평가하는 것이 우리의 정서가와 각성 감정을 어떻게 변화시킬 수 있는지를 보여주는 연구 프로젝트를 진행했습니다. 따라서 과제는 이미지의 무엇이 그러한 변화를 가능하게 하는지, 그리고 그것을 어떻게 찾아낼지를 발견하는 것입니다. 바로 여기에서 다차원 이미지 임베딩과 벡터 데이터베이스가 중요한 역할을 합니다.
2024년 2월 13일 시애틀에서 열린 Zilliz Unstructured Data Meetup에서 진행한 발표 'From Images to Meanings to Vector Databases’'에서 Dr. Damon Abraham은 LLM과 벡터 데이터베이스 기술을 활용해 실험 심리학을 위한 자극 저장소를 만드는 것을 목표로 한 혁신적인 연구 프로젝트에 대해 이야기합니다. 이 학제 간 이니셔티브는 University of Denver 및 Institute of Love and Time, Institute of Noetic Sciences의 연구자들과의 협업을 포함합니다. 이는 이미지의 오픈 소스 규범 데이터베이스와, 이미지 간 동적 심리적 거리 및 성공적인 재평가 가능성을 측정하는 기법을 개발하고자 합니다.
심리학 프로젝트
수천 명의 인간 평가자가 규범 데이터베이스의 이미지 2,500장을 평가하며, 18개의 서로 다른 자극 클래스에 걸쳐 각 이미지의 정서적 강도(각성)와 정서가(긍정 vs. 부정)를 측정했습니다. 목표는 행동 연구에서 정확한 감정 반응을 유발할 특정 이미지를 선택하기 위해 응답의 정규 분포를 만들어 이러한 이미지의 정서적 의미를 더 잘 이해하는 것입니다.
Dr. Abraham의 연구에서 핵심이 되는 것은 인지적 재평가라는 감정 조절 기법으로, 이는 자극의 의미를 재구성하여 그 정서적 영향을 바꾸는 것을 포함합니다.
National Library of Medicine에 따르면, 재평가는 상황의 의미를 재구성하여 그 정서적 영향을 바꾸는, 흔히 사용되고 널리 연구된 감정 조절 전략입니다(Gross, 1998).
이 인지적 재평가 기법은 이미지가 특정한 인지적·정서적 반응을 유발할 수 있음을 보여주며, 심리학 실험에서 가치 있는 메커니즘이 됩니다. 이 연구는 이미지에 대한 서로 다른 맥락적 해석이 우리의 감정을 어떻게 바꿀 수 있는지를 효과적으로 보여주며, 감정 조절에 대한 깊은 통찰을 제공합니다.
인지적 재평가는 자연스럽게 전개되는 과정에서 감정 반응의 변화를 탐구합니다. 다음의 자동차 사고 이미지를 예로 들어보겠습니다. 처음 보면, 관찰자는 충격을 받고 끔찍하다고 느낄 수 있습니다. 두 번째로 분석하면, 사진 속에 다친 사람이 없다는 점이나 실제 비극이 아니라 조작된 이미지라는 해석처럼 긍정적인 측면이 인식될 수도 있습니다. 즉, 생각하는 방식을 바꾸면 느끼는 방식도 바꿀 수 있습니다.
충돌로 손상된 택시 차량.
충돌로 손상된 택시 차량.
이미지가 인지적·정서적 반응을 유발할 수 있다면, 자극 유사성을 기준으로 검색할 수 있는 이미지의 규범 데이터베이스는 심리학 실험에서 매우 귀중할 것입니다.
심리적 거리 측정
이 프로젝트의 핵심 통찰 중 하나는 맥락이 심리적 거리에 큰 영향을 미치기 때문에 이를 고정된 척도로 취급해서는 안 된다는 것입니다. 동적인 제어 핸들을 갖추면 고급 이미지 처리 사용 사례를 실현할 수 있습니다.
연구팀은 심리적 거리를 이해하고 측정하기 위한 프레임워크로 해석 수준 이론(CLT)을 활용했다.
Wikipedia에 따르면, “해석 수준 이론(CLT)은 사회심리학 에서 심리적 거리 와 사람들의 사고(예: 대상과 사건에 대한 사고)가 추상적 이거나 구체적 _인 정도 사이의 관계를 설명하는 이론이다. CLT의 핵심 아이디어는 대상이 개인으로부터 멀리 있을수록 더 추상적으로 생각되고, 대상이 가까이 있을수록 더 구체적으로 생각된다는 것이다.”
이 프로젝트는 정신적 표상이 근접한 지금 여기(예: 직접적인 감각 경험)에서 시간, 공간, 또는 심지어 사실성 측면에서 더 떨어진 시나리오(예: 과거의 허구적 이미지)까지 변동한다는 점을 강조한다. 본질적으로 우리가 구체성(저수준 해석)에서 추상성(고수준 해석)으로 전환함에 따라 관련 개념의 맥락적 네트워크가 확대되어, 이미지를 평가할 때 관여하는 인지 처리의 복잡성이 증가한다.
해석은 심리적 거리에 대한 우리의 관점을 조절하는 인지 메커니즘으로 작용한다. 시간적으로나 공간적으로 먼 사건이나 시나리오를 개념화할 때, 우리는 관련된 더 넓은 이유, 이상, 또는 원칙인 '왜'에 초점을 맞추며 더 추상적인 추론을 사용하는 경향이 있다. 이러한 사건들이 가까워질수록 우리의 사고는 상황을 다루는 데 필요한 구체적인 행동인 더 즉각적이고 실용적인 '어떻게'로 이동한다.
추상적 사고에서 구체적 사고로의 이러한 전환은 미래 시나리오를 계획하고 관리하는 데 도움을 주며, 잠재적 반대나 과제를 더 효과적으로 헤쳐 나갈 수 있는 능력을 향상시킨다.
적절한 데이터 확보
심리적 거리는 여러 차원에 따라 정의되며, 시간적, 공간적, 사회적, 가설적 거리가 가장 중요한 것으로 간주된다.
발표에서 지적했듯이, Google Vision과 같은 도구는 이미지를 분류할 수 있다. 이는 이미지 안에 무엇이 있는지 식별하는 데 뛰어나다. 그러나 그 더 깊은 의미는 포착하지 못한다—장면 속 객체는 알려줄 수 있지만, 사람이 그 이미지에 어떻게 반응할지는 거의 알려주지 못한다. "무엇"에서 "어떻게"를 탐구하는 방향으로 나아가는 것이 프로젝트 제안의 핵심이다.
이 연구에서는 University of Denver와 Amazon Mechanical Turk의 수천 명의 참가자에게 각 이미지를 감정, 움직임, 체현, 사회적 거리, 물리적 거리 등 18개의 서로 다른 심리적 차원에 걸쳐 평가하도록 요청했으며, 그 결과 760,000개가 넘는 고유한 평점이 생성되었다.
이 풍부한 데이터셋은 평점의 완전한 분포를 제공하며, 해석 수준 이론 및 기타 심리학 연구의 프레임워크 내에서 귀중한 자원으로 기능한다. 이는 이러한 이론의 관점에서 분석하고 해석할 수 있는 견고한 데이터를 제공하여, 연구자들이 이미지의 다양한 차원과 그 심리적 함의에 대한 통찰을 얻을 수 있게 한다.
제공된 평점은 각 이미지에 추가적인 지각 정보를 제공하는 차원들을 부여했다.
LLM과 벡터 데이터베이스의 힘 활용
팀은 이미지의 의미론적 내용과 전반적인 구성을 포착하기 위해 EfficientNet-B4 model을 사용하여 시각적 임베딩을 추출하는 것으로 시작했다.
그들은 각 이미지에 대한 상세한 설명(최대 256개 토큰)을 생성하기 위해 멀티모달 모델인 LLaVA를 사용하여 데이터를 한층 더 강화했다. 그런 다음 이러한 설명은 OpenAI의 text-embedding-ada-002 model을 사용해 벡터 임베딩으로 변환되었다.
다음 단계는 임베딩을 Milvus 및 Zilliz Cloud(완전 관리형 Milvus)와 같은 벡터 데이터베이스로 전송하여, 대규모에서 그 다차원성을 더 잘 처리하고 다루는 것입니다.
이 접근 방식을 통해 팀은 각 이미지에 임베딩된 정보에 대해 의미적 및 시각적 유사성 검색을 측정하고 수행할 수 있으며, 유사한 정서적 영향이나 인지적 호소력을 가진 이미지를 찾는 능력을 향상할 수 있습니다.
이미지 임베딩이 추가 정보로 풍부해지고 빠른 분석을 위해 벡터 데이터베이스에서 사용할 수 있게 되면, 치료, 안전, 제품 디자인, 마케팅 전략을 비롯한 다양한 활용 사례와 함께 행동 과학에 사용될 수 있습니다.
재평가 어포던스 이해하기
이 연구는 재평가로 인해 발생하는 정서적 변화에 대한 이해의 토대를 마련했습니다. 참가자들은 이미지를 보고, 평가한 다음, 자신의 정서적 반응이 어떻게 변화하는지 확인하기 위해 다시 평가하도록 지시받았습니다. 연구 결과는 사람들이 자신의 감정이 자연스럽게 전개되도록 허용할 때 더 부정적으로 반응한다는 것을 보여주었습니다.
그러나 이미지의 정서가와 각성을 평가하는 것을 넘어, 이러한 정서적 변화를 유발하는 것이 무엇인지, 그리고 개인이 이미지에 대한 반응을 바꿀 수 있게 하는 것이 무엇인지 탐구하는 것은 흥미롭습니다. 이 탐구는 서로 다른 이미지가 인지적 재해석의 기회를 어떻게 "제공"하거나 "제한"하는지를 살펴보며, 이를 '재평가 어포던스'라고 합니다.
Gibson이 도입한 어포던스 개념은 객체의 특성이 그것의 가능한 사용 방식을 어떻게 암시하여 우리의 상호작용에 영향을 미치는지를 설명합니다. 심리학적 관점에서, 이미지의 내재적 의미 속성과 그것이 불러일으키는 연상의 범위는 재평가 가능성에 영향을 미칠 수 있습니다.
이 연구는 이러한 속성들이 이미지의 인지적 재평가에 대한 민감성과 어떻게 상관되는지를 규명하고자 하며, 맥락과 지각이 정서 조절에 미치는 영향에 대한 우리의 이해를 잠재적으로 확장합니다. 예를 들어, 으르렁거리는 개는 낮은 수준의 해석과 제한된 맥락적 범위로 인해 재평가의 기회가 더 적습니다. 반면, 높은 수준의 해석 안에 위치하고 더 넓은 의미 네트워크에 포함된 나치의 이미지는 재해석을 위한 더 큰 어포던스를 제공합니다.
마무리
Damon Abraham 박사는 이미지의 정서적 공명, 인지적 재평가를 유발하는 능력, 그리고 LLM과 Milvus 및 Zilliz Cloud 같은 벡터 데이터베이스를 통해 이를 도구화하는 방법에 대한 탐구를 선도하고 있습니다. 그의 연구는 정서적 변화를 촉진하는 능력을 신뢰성 있게 예측할 수 있는 이미지 클래스 내 핵심 구성 요소를 밝혀내며, 시각적 자극에 대한 우리의 반응을 뒷받침하는 미묘한 메커니즘을 조명합니다. 그의 작업은 이미지가 정서적 반응을 불러일으키고 의사결정 과정에 영향을 미치는 방식을 활용하는 방대한 애플리케이션과 활용 사례의 지평을 엽니다.
흥미롭지 않나요? 애플리케이션 아이디어가 있으신가요? 시작해 보세요!
예를 들어 자극 유사성 검색을 위한 이미지의 다차원 벡터 데이터베이스 구축에 대해 더 알아보거나 프로젝트를 시작하고 싶다면, 저희 Discord 채널에 참여해 주세요. 시작하는 데 도움이 되는 풍부한 리소스와 지원적인 커뮤니티를 제공합니다.
계속 읽기
Introducing Zilliz CLI and Agent Skills for Zilliz Cloud
Manage your vector database from your terminal or AI coding agent. Zilliz CLI and Agent Skills work with Claude Code, Cursor, Codex, and Copilot.
Why I’m Against Claude Code’s Grep-Only Retrieval? It Just Burns Too Many Tokens
Learn how vector-based code retrieval cuts Claude Code token consumption by 40%. Open-source solution with easy MCP integration. Try claude-context today.
Optimizing Embedding Model Selection with TDA Clustering: A Strategic Guide for Vector Databases
Discover how Topological Data Analysis (TDA) reveals hidden embedding model weaknesses and helps optimize vector database performance.