学習
大規模言語モデル（LLM）101

CohereのRerankerを使いこなし、AIのパフォーマンスを向上させる

Apr 07, 20241 分で読めます

Cohere の rerank エンドポイントは、検索および推薦システムを強化するためのシンプルかつ強力なソリューションを提供します。その方法をご覧ください！

シリーズ全体を読む

#はじめに

再ランク付けは、検索エンジンや推薦システムで採用されている基本的な概念で、特定の基準に基づいて、関連性の低い文書やアイテムの最終候補リストに優先順位を付ける。これは最新のシステムにおいて重要な役割を果たし、ユーザーと共有される情報の質を大幅に高め、全体的なユーザーエクスペリエンスを向上させる。結果が表示される順序を改良することで、再順位付けは最も関連性が高く有用な情報が最初に表示されるようにし、ユーザーが探しているものを見つけやすくします。

従来の再ランキング方法は、アイテムの新着度、アプリケーション内での人気度、その他のデータオブジェクト、時にはユーザーの嗜好や行動データなどの基準に頼ることが多い。これらの基準は、大量のデータをフィルタリングし、ソートするためには不可欠ですが、特定のクエリやユーザーのニーズとアイテムの真の関連性を把握するには限界があります。

昨年、Cohereは革新的な再ランクモデル、Rerank endpointを発表した。これは人工知能と高度な意味理解の力を活用し、検索された文章や候補文書を、与えられたクエリとの関連性に基づいて再ランクするものである。この洗練された再ランクモデルは、再ランク付けを容易にするだけでなく、検索エンジンと推薦システムに堅牢なセマンティック検索機能を導入し、最も関連性の高い結果を得るためにクエリを正確に定義するという複雑な課題に対処します。AIを活用してクエリや検索されたドキュメントの背後にある深い意味を理解することで、CohereのRerankエンドポイントは、システムがより正確で文脈に適した結果を提供することを可能にし、それによってユーザーエクスペリエンスと満足度をさらに向上させます。

Cohere Rerank エンドポイント

Cohere の blog の投稿によると、「Rerank システムは、クエリと文章間の文脈的な関係を評価することによって検索結果を最適化する、洗練された意味的関連性スコアリングおよびランキングシステムです。このアプローチは、クエリと文章の長さの両方のニュアンスと深い意味を理解することで、単純なキーワードマッチングを超え、より正確で文脈に関連した検索結果のランキングを可能にする。

Cohere の re-rank エンドポイントは、検索および推薦システムを強化するためのシンプルかつ強力なソリューションを提供します。これは、従来のキーワードベースの検索システムと高度なセマンティック検索システムの両方と互換性のある最終的なソートメカニズムとして機能します。Cohereは、再ランク・エンドポイントをキーワード検索と組み合わせることで、キーワードまたは意味的類似性ベースの検索システムと比較して、一般的に優れたパフォーマンスが得られると主張している。この改善は、正確な関連性が重要なシナリオにおいて特に顕著であり、エンドポイントはコンテンツのより深い理解に基づいてインテリジェントに結果を並べ替えることができる。

Rerankエンドポイントは、Elastic SearchやSolrのような既存の検索エンジンとシームレスに統合され、実装に必要な労力は最小限です。検索エンジンのパイプラインの最後にレイヤーを追加することで、開発者は現在の検索エンジンの結果をリランク・エンドポイントに送り込み、ソートされたリストを取得してユーザーに提示することができます。この統合は検索結果の質を高めるだけでなく、異なる検索環境やニーズに簡単に適応できる柔軟でスケーラブルなソリューションを可能にする。

Cohere の rerank エンドポイントにより、AI エンジニアやデータサイエンティストを含む開発者は、Cohere の [large language model] (https://zilliz.com/glossary/large-language-models- 付記) の検索精度を活用して、各クエリに関連するアイテムをソートする洗練された検索エンジンを実装することができます。このテクノロジーは、検索パフォーマンスを大幅に向上させるだけでなく、ハイブリッド検索メソッドを完全に実装するのに比べ、より複雑でメンテナンスの少ないソリューションを提供します。このエンドポイントは、大規模なリエンジニアリングを行うことなく既存のシステムを強化することができるため、最小限の混乱で検索機能をアップグレードしたいと考えている組織にとって魅力的な選択肢となる。

##ファインチューニング・リランク・エンドポイント

最近、Cohere は、検索システムにおける重要な進歩であるファインチューニング機能をリランク・エンドポイントに導入しました。この機能強化により、開発者やAIエンジニアは、特に医療、金融、企業などの専門的な領域において、より正確で文脈を考慮した検索システムを展開できるようになります。専門用語や文脈情報の微妙な理解が重要なこれらの分野では、リランキングモデルを微調整する機能により、検索結果を最適化するためのカスタマイズされたアプローチが可能になり、最も関連性の高い正確な情報が表示されるようになります。

GPT-4のような生成AIモデルをリランキングタスクに利用するなどの代替アプローチを考慮すると、その計算コストと運用要件が相当なものであることが明らかになる。処理能力に対する要求が高く、このようなモデルの実行に伴う複雑さが、その実用的な使用を困難なものにしており、リアルタイムのアプリケーションではしばしば実用的でない。対照的に、Cohere のリランキング・モデルを微調整することで、高品質でドメイン固有の結果が得られるだけでなく、検索品質と関連性を向上させるためのコスト効率と計算効率の高いソリューションが提供されます。さらに、Cohere のリランキング・モデルは決定論的な結果を提供し、生成モデルによって生成される可変的で時に予測不可能な結果とは異なり、一貫した予測可能な結果を提供します。この予測可能性と信頼性は、検索結果の正確さと一貫性が最重要視される専門分野では特に価値があります。

要するに、リランキング・モデルを活用し、それを微調整することは、費用対効果、予測可能性、信頼性の面で大きな利点を提供する、現実的なソリューションなのである。このアプローチは、精度、正確さ、関連情報の配信がユーザーエクスペリエンスや意思決定プロセスにとって重要な分野で特に有利です。これらの重要な要素に焦点を当てることで、開発者は各業界特有のニーズを満たす、より効果的でユーザー中心の検索システムを構築することができます。

以下のデモでは、Cohere の Python SDK を使用して、特定のユースケース向けに [rerank model](rerank モデル) を微調整します。まず最初に、モデルの微調整に必要なデータセットのフォーマットを理解しましょう。データセットは、ファインチューニングの過程で互換性と有効性を確保するために、JSONLファイル内で以下のフォーマットで構造化されている必要があります。

{"query"："ヴァージン・オーストラリアが運航を開始したのはいつですか？", "relevant_passages"：[ヴァージン・オーストラリアは2000年8月31日にヴァージン・ブルーとしてサービスを開始し、2機の航空機で単一路線を運航しました。｝
{"query"：「魚の種類は？Tope or Rope", "relevant_passages"：[トピ"]} { "query": "魚の種類は？
{"query"："ラクダはなぜ水なしで長く生きられるのか？", "relevant_passages": "ラクダは水なしで長く生きられる：["ラクダはこぶの脂肪を使って、長時間エネルギーと水分で満たされた状態を保つ"]}。

必要なデータ形式を理解したところで、データセットの選択に移ろう。このタスクでは、huggingface platform.に掲載されているdatabricks/databricks-dolly-15kデータセットを使用する。"instruction "と "response "フィールドを使用して、リランキングモデルを微調整するためのデータセットを準備することができる。モデルを微調整する方法の詳細については、Pythonスクリプトを参照してください。

このPythonスクリプト(https://gist.github.com/SaadAhmed96/a26e87ab64de05da55a0a4979e0b28c9 )は、カスタム・データセットを使用してリランク・モデルを微調整することにより、Cohere のリランク・システムの機能を実証します。まず Databricks Dolly 15k データセットからデータをロードし、JSONL 形式で準備した後、Cohere のクライアントを使用して微調整用のデータセットを作成します。次にスクリプトは、作成されたデータセットを使用して微調整ジョブを開始し、完了するまで進行状況を監視します。

微調整ジョブが正常に完了したら、Cohere のダッシュボードにアクセスします。

Cohere におけるファインチューニング](https://assets.zilliz.com/Fine_tuning_in_Cohere_48e4b0328c.png)

2番目のモデル、rerank-ft が利用可能で、準備ができています。クリックすると結果が表示されます。結果は、各メトリックで3～4 %精度が向上したことを示しています。このように、検索エンジンやレコメンデーション・エンジンの改良に使える、微調整された再ランキング・モデルを手に入れたのです。

Cohereのパフォーマンス](https://assets.zilliz.com/Performance_in_Cohere_456724d065.png)

ポイントワイズ・ランキングとリストワイズ・ランキング

Pointwise ランキングアルゴリズムは、情報検索システムにおける基礎的なアプローチであり、各ユーザークエリとその関連文書を独立して評価する。この方法では、他の文書との関連性や文脈を考慮することなく、ユーザーのクエリとの関連性だけに基づいて各文書に関連性スコアを割り当てる。基本的には、ランキングタスクを回帰または分類問題として扱い、クエリに対する個々の文書の関連性を予測することを目標とする。このアプローチは実装がシンプルで効率的であるため、各文書の関連性ラベルが明確で、計算リソースが限られており、手元のタスクが比較的単純な場合に特に適している。その単純な性質から、ポイントワイズ・ランキングは、ランキング問題が明確に定義され、文書の関連性が容易に定量化できるようなアプリケーションで採用されることが多い。

ポイントワイズ・ランキングでは、各文書は結果集合内の他の文書との関係を考慮することなく、単独で評価される。これは、ドキュメントの関連性が互いにほとんど独立しており、最も関連性の高いドキュメントのランク付けされたリストをユーザーに提供することが主な目的であるような状況で有利となる。例えば、文書が多様で、その関連性が相互に依存していないシナリオでは、ポイントワイズ・ランキングは、個々の長所に基づいて最良の候補を効果的に特定し、優先順位をつけることができる。しかし、ポイントワイズ手法は、結果集合である大規模な文書コレクション内の文書の相互作用や依存関係から生じる関連性のニュアンスを捉えるのに苦労する可能性があり、潜在的な課題となる可能性があることに注意することが重要である。文書間の相互作用が最終的な関連性を決定する上で重要な場合、ポイントワイズ・ランキングでは不十分となり、最適な検索結果が得られない可能性がある。

これに対して、リストワイズ・リランキングは異なる観点からランキング問題にアプローチする。文書を個々に評価するのではなく、与えられたクエリに対して返された文書のリスト全体を1行の全体的な実体として考える。リストワイズ・リランキング・アルゴリズムは、文書リスト全体に対して直接ランキング指標を最適化し、検索品質とランク付けされたリスト内の項目の全体的な順序を大幅に改善することを目指す。リスト全体に注目することで、これらのアルゴリズムは結果の全体的な構成とバランスを考慮することができ、最終的なランク付けされたリストに関連文書が含まれるだけでなく、ユーザーの満足度とタスクのパフォーマンスを最大化するような方法で順序付けされることを保証する。このアプローチは、個々の文書の関連性だけでなく、全体としてのランキング品質が最優先されるタスクに特に有利である。

リストワイズ・リランキングの重要な利点のひとつは、意味的な関連性を捉えて取り込み、結果セットの文書間の関係を活用できることである。文書間の相互作用を考慮することで、リストワイズ手法はより首尾一貫した、文脈に関連したランキングを生成することができ、ユーザー満足度とタスクパフォーマンスの向上につながる。この全体論的なアプローチにより、平均平均精度（MAP）や正規化割引累積利得（NDCG）といった評価指標で優れた性能が得られることが多く、ランク付けされたリストの全体的な品質が評価される。これらのメトリクスは、結果リスト全体に対するユーザーの経験がシステムの成功の重要な要因となるアプリケーションにおいて特に重要である。

リストワイズ・リランキングは、文書間の基本的な関係が関連性の決定において重要な役割を果たすシナリオにおいて特に有益である。例えば、推薦システムや検索エンジンでは、多様で首尾一貫した結果セットをユーザーに提示することが目標であるが、リストワイズ手法は、結果セットのアイテム間の複雑なつながりを効果的に学習し、利用することができる。このような文脈では、リスト全体を最適化する能力により、ユーザーに最も関連性の高い個々の文書が提示されるだけでなく、一緒に意味のある結果セットが提示され、全体的なユーザーエクスペリエンスが向上し、タスクが成功する可能性が高まります。このため、リストワイズ・リランキングは、検索や推薦のアウトプット全体の品質が、各文書の個別の関連性よりも重要なアプリケーションにおいて、強力なツールとなる。

結論

結論として、リランキングは検索エンジンと推薦システムのパフォーマンスを大幅に向上させる上で重要な役割を果たし、ユーザーが特定のニーズに合わせた最も関連性の高い有意義な結果を受け取れるようにします。高度な AI によるセマンティック理解と微調整機能を備えた Cohere のリランク・モデルは、検索結果のセマンティックな関連性を向上させるためのコスト効率と信頼性の高いソリューションを提供します。Cohere のアプローチは、クエリやドキュメントの背後にある深い文脈と意味に焦点を当てることで、正確なだけでなく文脈に適した検索結果を提供し、より満足度の高いユーザー・エクスペリエンスを実現します。

Cohere の Rerank エンドポイントを使用すれば、開発者と AI エンジニアの統合は簡単です。最小限の労力で高度なリランク機能をシームレスにシステムに組み込むことができるため、検索結果の精度を高め、全体的なユーザー体験を向上させることができます。このエンドポイントは統合プロセスが簡単なため、リソースが限られているチームでも利用可能で、大規模なリエンジニアリングを行うことなく高度な検索機能を実装できる。さらに、微調整機能を追加することで、特に医療、法律、金融などの専門的な領域において、検索システムの有効性がさらに高まります。ファイン・チューニングによって、リランク・モデルをこれらの分野特有の言語やニュアンスに合わせてカスタマイズすることができ、検索システムの検索結果が適切であるだけでなく、正確で信頼できるものになる。

さらに、Cohere が提供するファインチューニング機能は、カスタマイズのレイヤーを追加し、検索システムを専門業界特有の要件に合わせることを可能にする。これは、医学研究、法律データベース、金融分析など、情報の正確性と関連性が重要な分野で特に有益です。リランク・モデルを微調整することで、開発者は検索結果をその分野特有の用語や文脈のニーズに合わせて最適化することができ、検索ベクトルだけで取得される情報の品質と信頼性の両方を高めることができる。

要するに、AIを駆使した意味理解と微調整可能なハイブリッド検索オプションを備えたCohereのリランク・モデルは、様々な業界の検索および推薦システムを改善するための堅牢で適応性の高いソリューションを提供します。一般的な用途であれ、特殊な用途であれ、検索結果を絞り込み、強化する機能は、ユーザーに最も関連性の高い正確な情報を確実に提供し、最終的により効果的で効率的な検索体験をもたらします。