LLMとMilvusによる行動科学実験の改善
Pressing and Unpressing "Buttons" - Can We Reframe Our Emotions?
もちろんです。[心理学の博士号を持つ行動科学者であるデイモン・アブラハム博士（https://www.linkedin.com/in/damon-abraham-phd/）は、あるイメージを再評価することで、私たちの感情の価数や覚醒度がどのように変化するかを実証する研究プロジェクトを行っている。したがって、探求は、画像の何がそのシフトを可能にし、どのようにそれを検索するかを発見することである。そこで、多次元画像埋め込みとベクトル・データベースが活躍する。
2024年2月13日にシアトルで開催されるZilliz Unstructured Data Meetupでの発表「From Images to Meanings to Vector Databases 」で、Damon Abraham博士は、LLMとベクトルデータベース技術を用いて実験心理学のための刺激リポジトリを作成することを目的とした彼の革新的な研究プロジェクトについて語っている。この学際的なイニシアチブは、デンバー大学、Institute of Love and TimeおよびInstitute of Noetic Sciencesの研究者との共同研究である。オープンソースの規範となる画像データベースと、画像間の動的な心理的距離と再評価が成功する可能性を測定する技術を開発しようとしている。
<br
デイモン・アブラハム博士の講演を見る](https://www.youtube.com/watch?v=a9PnXdJsfpA&t=2064s)
<br
心理学プロジェクト
何千人もの人間の評価者が、規範となるデータベースから2,500の画像を評価し、18の異なる刺激クラスにわたって、それぞれの感情の強さ（覚醒）と価（肯定的か否定的か）を測定した。その目的は、行動研究において正確な情動反応を引き起こす特定の画像を選択するための反応の正規分布を作成することによって、これらの画像の情動的意味をよりよく理解することである。
アブラハム博士の研究の中心は、認知的再評価という情動調節技法であり、これは刺激の意味を再フレーミングして、その情動的影響を変化させるものである。
National Library of Medicine](https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5573643/#:~:text=Reappraisal%20is%20a%20commonly%2Dused,impact%20(Gross%2C%1998).)_によると、再評価は一般的に使用され、広く研究されている情動調節戦略であり、状況の意味を再フレーミングしてその情動的影響を変化させる(Gross, 1998)。
この認知的再評価技法は、イメージが特定の認知的・感情的反応を喚起できることを示し、心理学実験における貴重なメカニズムとなっている。この研究は、イメージの文脈的解釈の違いによって感情がどのように変化するかを効果的に示しており、感情調節に関する深い洞察を与えている。
認知的再評価は、自然な展開から感情反応の変化を探る。次の交通事故の画像を例にとってみよう。最初に見た人はショックを受け、ぞっとすると思うかもしれない。二度目の分析では、誰も怪我をしていないとか、事実の悲劇ではなく捏造された画像であるという解釈など、肯定的な側面が知覚されるかもしれない。つまり、考え方を変えることで、感じ方を変えることができるのだ。
タクシー車が事故で破損
タクシー車、衝突で破損
画像が認知的・感情的反応を引き起こすことができるのであれば、刺激の類似性に基づいて検索できる画像の規範的データベースは、心理学実験において非常に貴重なものとなるだろう。
心理的距離の測定
このプロジェクトからの重要な洞察は、心理的距離は文脈が大きく影響するため、固定的な尺度として扱うべきではないということです。動的なコントロールハンドルを持つことで、高度な画像処理のユースケースを引き出すことができる。
研究チームは、心理的距離を理解し測定するためのフレームワークとして、Construal Level Theory（CLT）を採用した。 ウィキペディアによると、「Construal Level Theory (CLT)とは、social psychologyにおける理論であり、psychological distanceと、abstractまたはconcreteである人々の思考(例えば、物や出来事について)の程度との関係を記述するものである。CLTの核となる考え方は、ある対象が個人から遠ければ遠いほど、その対象はより抽象的に考えられ、近ければ近いほど、その対象はより具体的に考えられるというものである。"
このプロジェクトは、心的表象が、近接した、今ここにあるもの（例えば、直接的な感覚的経験）から、時間的、空間的、あるいは事実性（例えば、過去の架空のイメージ）において、より離れたシナリオへと変動することを強調している。基本的に、具体性（低レベルの解釈）から抽象性（高レベルの解釈）へと移行するにつれて、関連する概念の文脈的ネットワークが増大し、イメージを評価する際の認知処理の複雑さが増す。
解釈は、心理的距離に対する私たちの視点を調整する認知メカニズムとして機能する。時間的または空間的に遠い出来事やシナリオを概念化するとき、私たちはより抽象的な推論を行う傾向があり、「なぜ」、つまり関係する広範な理由、理想、原則に焦点を当てる。このような出来事が近づくにつれ、私たちの思考はより直接的で実際的な「どのように」、つまり状況に対処するために必要な具体的な行動へとシフトしていく。
抽象的な思考から具体的な思考へのこのシフトは、将来のシナリオを計画し管理するのに役立ち、潜在的な反対意見や課題をより効果的に切り抜ける能力を高めてくれる。
正しいデータを得る
心理的距離はいくつかの次元で定義され、時間的距離、空間的距離、社会的距離、仮説的距離が最も重要であると考えられている。
プレゼンテーションで指摘されたように、Google Visionのようなツールは画像を分類することができる。これは画像に何が写っているかを識別するのに優れている。しかし、その深い意味を捉えることはできない。シーン内のオブジェクトを知ることはできるが、その画像に対して人がどのように反応するかについてはあまり知ることができないのだ。何を "から "どのように "を探求することが、このプロジェクトの提案の核心である。
この研究では、デンバー大学とアマゾン・メカニカル・タークの数千人の参加者が、感情、動き、体現、社会性、物理的距離など、18の異なる心理的次元にわたって各画像を評価するよう依頼され、76万以上のユニークな評価が得られた。
この豊富なデータセットは、評価の完全な分布を提供し、Construal Level Theoryや他の心理学的研究の枠組みの中で貴重なリソースとして機能する。これらの理論のレンズを通して分析・解釈できる強固なデータを提供することで、研究者は画像の様々な側面とその心理的意味合いについて洞察を得ることができる。
レーティングは、各画像に追加的な知覚情報を提供する次元を与えた。
LLMとベクトルデータベースの力を活用する
チームはまず、画像の意味内容や一般的な構図を捉えるために、EfficientNet-B4モデルを用いて視覚的埋め込みを抽出した。
さらに、マルチモーダルモデルであるLLaVAを用いてデータを拡張し、各画像の詳細な説明（最大256トークン）を生成した。これらの記述は、OpenAIのtext-embedding-ada-002モデルを用いてベクトル埋め込みに変換された。
次のステップは、埋め込みをMilvusやZilliz Cloud(フルマネージドMilvus)のようなベクトルデータベースに転送することである。
このアプローチにより、チームは各画像に埋め込まれた情報を測定し、意味的・視覚的類似性検索を実行することができ、同様の感情的影響や認知的訴求を持つ画像を見つける能力を高めることができる。
画像埋め込みが追加情報で強化され、ベクトル・データベースで利用できるようになり、高速分析が可能になったことで、治療、安全性、製品設計、マーケティング戦略などのユースケースの中でも、特に行動科学に幅広く応用できるようになった。
再評価のアフォーダンスに迫る
この研究では、再評価による感情の変化を理解するための基礎が築かれた。参加者は、ある画像を見て、それを評価し、そして再評価するように指示された。その結果、感情を自然に展開させると、人はより否定的な反応を示すことが明らかになった。
しかし、画像の価数や覚醒度を評価するだけでなく、何がこのような感情の変化を引き起こすのか、何が画像に対する反応を変えることを可能にするのかを探ることは興味深い。この探求では、「再評価のアフォーダンス」と呼ばれる、認知的再解釈の機会を、異なるイメージがどのように「与える」のか、あるいは「制限する」のかを検証する。
ギブソンによって導入されたアフォーダンスという概念は、モノの特性がどのようにその可能な使い方を示唆し、それによって私たちの相互作用に影響を与えるかを説明している。心理学的な言い方をすれば、イメージに内在する意味的特性や、それが呼び起こす連想の範囲が、再評価の能力に影響を与える可能性があるということである。
本研究では、これらの特性が、認知的再評価に対する画像の感受性とどのように相関するかを明らかにすることで、文脈や知覚が感情調節にどのように影響するかについての理解を広げる可能性がある。例えば、唸り声をあげる犬は、低レベルの解釈であり、文脈の範囲が限定されているため、再評価の機会が少ない。対照的に、ナチスのイメージは、高次元の解釈の中に位置づけられ、より広い意味ネットワークの中に組み込まれているため、再解釈の余地が大きい。
まとめ
デイモン・アブラハム博士は、画像の感情的共鳴、認知的再評価を喚起する能力、そしてLLMとMilvusやZilliz Cloudのようなベクトル・データベースを用いてそれを実現する方法の探求のパイオニアである。彼の研究は、感情的なシフトを促進する能力を確実に予測できる画像クラス内の重要な構成要素を明らかにし、視覚刺激に対する私たちの反応の根底にある微妙なメカニズムに光を当てている。彼の研究は、画像がどのように感情的反応を呼び起こし、意思決定プロセスに影響を与えるかを活用するアプリケーションや使用例の広大な地平を切り開く。
エキサイティングだろう？ アプリケーションのアイデアをお持ちですか？さあ、始めましょう！
例えば、刺激類似検索のための画像の多次元ベクトルデータベースの構築について、もっと学びたい、プロジェクトを始めたいという方は、ぜひ私たちのDiscordチャンネルにご参加ください。私たちは、豊富なリソースと支援的なコミュニティを提供し、あなたが始めるのを支援します。
読み続けて
Zilliz Cloud Enterprise Vector Search Powers High-Performance AI on AWS
Zilliz Cloud delivers blazing-fast, secure vector search on AWS, optimized for AI workloads with AutoIndex, BYOC, and Cardinal engine performance.
Expanding Our Global Reach: Zilliz Cloud Launches in Azure Central India
Zilliz Cloud now operates in Azure Central India, offering AI and vector workloads with reduced latency, enhanced data sovereignty, and cost efficiency, empowering businesses to scale AI applications seamlessly in India. Ask ChatGPT
1 Table = 1000 Words? Foundation Models for Tabular Data
TableGPT2 automates tabular data insights, overcoming schema variability, while Milvus accelerates vector search for efficient, scalable decision-making.