学習
大規模言語モデル（LLM）101

2024年のトップLLM：価値あるもののみ

May 15, 20241 分で読めます

このブログでは、2024年に最も影響力のある6つの大規模言語モデルを紹介する。

シリーズ全体を読む

#はじめに

変化が唯一の不変である世界において、大規模言語モデル(LLM)は自然言語処理における進化の最高レベルを表している。これらの高度に洗練された人工知能プログラムは、私たちとテクノロジーとの関係や、言語、理解、生産でできることを変えてきた。

2024年に入ると、LLMsの中にはゲームを変えるようなモデルに関する多くの主張が存在する。しかし心配は無用だ！私たちは、今年何が起こるかについて、愉快で、真実で、ナンセンスのない概略をお伝えします。さっそく、2024年のトップLLMを紹介しよう。

オープンAIのGPT-4

OpenAIのGenerative Pre-trained Transformer（GPT）モデルは、AI開発における興奮の第一波に火をつけた。これらのモデルの中で、GPT-4はGPT 3.5の成功に続く重要な進歩として際立っています。このGPTシリーズの反復では、推論機能の強化、高度な画像処理、25,000語以上のテキストを扱えるコンテキストウィンドウの拡張など、多くの機能強化が導入されている。

GPT-4は、その技術的な卓越性だけでなく、感情的なインテリジェンスを大幅に向上させ、ユーザーとの共感的な対話を可能にしました。この特性は、従来の検索エンジンやコンテンツジェネレーターを凌駕し、顧客サービスとの対話のようなユースケースにおいて非常に貴重です。さらに、GPT-4は、より包括的で公平なコンテンツを生成することができ、公平性や公正性に関する適切な懸念に対処することができる。また、データの誤用や誤操作を防ぐための強固なセキュリティ対策が組み込まれており、ユーザーの信頼を育み、機密性を維持します。

OpenAIはまた、GPT-4oのようなマルチモーダルモデルも提供しており、音声、視覚、テキストを横断して推論することができます。

ジェミニ：NLPのダークホース

GoogleのGeminiは、そのユニークなMoE(Mixture-of-Experts)アーキテクチャによって区別される言語モデルである。多くの言語モデルアプリケーションにおける重要な課題、特にエネルギー効率と微調整の必要性に取り組んでいる。Gemini Ultra、Gemini Pro、Gemini Nanoの3つのバージョンがあり、それぞれ、さまざまなスケールと目的に合わせて、特定の要件を効果的に満たすために、さまざまなレベルの複雑さと適応性を提供しています。

GeminiのMoEアーキテクチャは、入力に基づいて関連するコンポーネントを選択的にアクティブにすることで、計算オーバーヘッドを大幅に増やすことなく、収束の加速とパフォーマンスの向上を実現します。さらに、Geminiは、学習ステップごとに指定された重みを更新することでパラメータの疎分散を導入し、計算負荷を軽減し、学習時間を短縮し、エネルギー消費を削減する。

最新のバージョンであるGemini 1.5は、その前作の基盤の上に構築されており、最大1,000万トークンに及ぶ拡張コンテキストウィンドウや、MoEアーキテクチャによるトレーニング計算需要の削減など、最適化された機能を提示している。その成果の中には、長いコンテキストのマルチモーダルなタスクを管理する能力、および1H-VideoQAやEgoSchemaのようなベンチマーク評価で精度の向上を実証する能力がある。

コヒーレンスのためのコヒーレ：NLPの新しいお気に入り

Cohereは、人間のようなテキストの理解と生成に新たな視点をもたらす、もう一つの革新的な言語モデルです。コンテンツ生成や感情分析など、実世界の課題を解決するための無数のアプリケーションを提供する。

Cohere](https://zilliz.com/product/integrations/cohere)の際立った特徴の一つは、提供されたキーワード、プロンプト、または構造化されたデータに基づいて、記事、ブログ、またはソーシャルメディアの投稿を迅速に生成する能力である。この機能は、タイトル、見出し、説明文をCohereが巧みに作成し、手作業を大幅に効率化するため、魅力的なコンテンツを迅速に求める時間のないマーケティング担当者にとって特に有益です。

さらに、Cohere は、自然言語処理 (NLP) のパワーを活用したセンチメント分析にも優れており、与えられたテキストに含まれる感情的なトーン (ポジティブ、ネガティブ、ニュートラル) を識別します。この機能により、企業はレビューやフィードバックを通じて、自社の製品やサービスに対する顧客の感情を測定することができます。さらに、政治やスポーツに関する一般大衆の感情を把握し、一般大衆の嗜好との一致を確認することで、キャンペーン計画に役立てることもできる。

ファルコンスピードと精度の融合

Training Infrastructure Intelligence (TII)によって開発されたFalconは、様々なアプリケーションにおいてそのスピードと正確さで高い評価を得ています。ファルコンには2つの主要モデルがある：ファルコン-40Bとファルコン-7Bで、どちらもOpen LLM Leaderboardで素晴らしいパフォーマンスを示しています。

Falcon](https://zilliz.com/learn/Falcon-180B-advancing-language-models-in-AI-frontier)モデルは、フラッシュアテンション、RoPEエンベッディング（ランダムパーミュテーションで学習された位置エンコーディング）、マルチクエリーアテンションヘッド、パラレルアテンションレイヤー、フィードフォワードレイヤーなどの革新的なコンポーネントを統合しながら、デコーディングのみに焦点を当てたテーラードトランスフォーマーアーキテクチャを特徴としています。これらの強化により、推論速度が大幅に向上し、単一例を逐次処理するテストフェーズにおいて、GPT-3を最大5倍上回った。

事前学習時にGPT-3より75%少ない計算能力を必要とするにもかかわらず、ファルコン40は依然として約90GBのGPUメモリを必要とする。しかし、コンシューマーグレードのノートパソコンで微調整や推論を実行する場合には、必要なメモリは約15ギガバイトまで削減された。特筆すべきは、ファルコンは分類や要約のようなタスクに秀でており、品質を損なうことなくスピードを優先しているため、迅速な完了が最優先されるシナリオで最良の選択となります。

Mixtral何でも屋

MixtralはMistral AIによって開発された言語モデルで、その幅広いNLPアプリケーションによって大きな人気を得ています。そのデザインと機能性は、言語問題に対する包括的なソリューションを必要とする企業や開発者に適しています。Mixtralは、エッセイの執筆、要約の生成、言語の翻訳、あるいはコーディングのような言語ベースのタスクを同時に処理することができ、様々な文脈での適用可能性を強調している。このモデルの最も印象的な点は、異なる言語や状況に適応する能力であり、グローバルなコミュニケーションを強化し、多様な人々へのサービス提供を可能にする。

技術的な観点からは、MixtralはSparse Mixture-of-Experts (SMoE)アーキテクチャで動作し、タスクごとにモデル内の関連コンポーネントを選択的にアクティブにすることで効率を最適化している。この的を絞ったアプローチは、計算コストを削減すると同時に処理速度を向上させます。例えば、Mixtral 8x7Bは32kトークンという大きなコンテキストウィンドウサイズを誇ります。この機能により、長い会話を巧みに管理し、文脈の微妙な理解を必要とする複雑な文書に取り組むことができ、詳細なコンテンツ作成と高度な検索拡張生成を正確かつ効果的に促進します。

Mixtralは、多くのパラメータを持ちながら、より小さなモデルと同様の費用対効果の高い推論を提供するため、高い計算コストをかけずに高度なNLP機能を必要とする企業に好まれています。フランス語、ドイツ語、スペイン語、イタリア語、英語を含む多言語をサポートする能力により、Mixtralは、グローバルなコミュニケーションチャネルとコンテンツ生成能力を求める国際的な企業にとって、貴重な資産となります。

ラマ：人々のLLM

Metaによって開発されたオープンソースの言語モデルシリーズであるLlamaは、そのアクセシビリティと使いやすさへのコミットメントにより、"The People's LLM "として認められています。このユニークな焦点により、Llamaモデルは、データの安全性を優先し、一般的なサードパーティのオプションとは別にカスタマイズされたLLMを開発しようとする人々にとって好ましい選択肢となっています。Llama2およびLlama3は、Llamaモデルの中でも際立っています。

Llama2は、7Bから70Bの学習パラメータを持つ、事前に学習され微調整されたLLMのスイートを特徴としている。前身であるLlama1と比較して、Llama2は40%多くのトークンで学習を行い、コンテキストウィンドウを大幅に拡張しています。さらに、Llama2は直感的なインターフェースとツールを提供し、非専門家にとっての参入障壁を最小限に抑え、Hugging Face Model Hubとシームレスに統合することで、訓練済みの言語モデルとデータセットに簡単にアクセスすることができます。

Llama2より大幅に進化したLlama3は大きな飛躍です。Llama3](https://zilliz.com/learn/how-to-build-rag-system-using-llama3-ollama-dspy-milvus)は、8Bから70Bの範囲のパラメータを持つデータセットで事前訓練と微調整を行い、文脈理解、推論、コード生成、様々な複雑なマルチステップタスクにおいて強化されたパフォーマンスを示します。さらに、Llama3は学習後のプロセスを改良することで、偽拒否率の顕著な減少、応答のアライメントの改善、モデル解答の多様性の向上を実現している。Llama3は間もなくAWS、GCP、Azure、その他多くのパブリッククラウドで利用可能になる。

サイドバイサイド比較

| ミストラル｜OpenAI｜Google｜メタ｜コヒーレ｜Talesfromtheloop

| インプット・トークン価格** | $8.00 |$ 1.50 | $30.00 |$ 7.00 | $0.90(ラマ70Bの場合。他のモデルは異なる) |$ 1.25 | $1.25 | | 出力トークン価格**｜$ 24.00｜ $2.00｜$ 60.00｜ $21.00｜$ 1.00(ラマ70Bの場合。他のモデルの場合は異なる)｜ $2.00｜$ 2.00 | スループット(tokens/sec)｜30.3｜116.4｜19.7｜43.8｜42.2(llama70Bの場合。他のモデルでは異なる)｜28.4｜500｜｜。 | レイテンシ（TTFT、秒）｜0.37｜0.55｜0.53｜1.23｜0.38（llama 70Bの場合。 | コンテキストウィンドウ｜33kトークン｜4.1kトークン｜8.2kトークン｜1.0Mトークン｜4.1kトークン（llama 70Bの場合。 | パラメータ・サイズ｜6B｜175B｜350B｜40B（ベース）＆7B（ライト）｜70B（可変）｜可変｜タスクに最適化された可変 | Speed (Tokens per Second)｜High｜╱100 tokens/sec｜Very High｜╱200 tokens/sec｜╱GPT-3の5倍速い、╱500 tokens/sec｜High｜╱100 tokens/sec｜╱GPT-3の5倍速い、╱500 tokens/sec｜╱GPT-3の5倍速い、╱500 tokens/sec｜╱GPT-3の5倍速い、╱GPT-3の5倍速い、╱500 tokens/sec | 精度｜高い、ベンチマークテストで97%｜高い、ベンチマークテストで97%｜非常に高い、ベンチマークテストで98%｜GPT-3より高い、ベンチマークテストで98%｜高い、ベンチマークテストで97%｜GPT-3と同等、ベンチマークテストで97%｜GPT-3より高い、ベンチマークテストで98%｜ エネルギー効率｜高い、ベンチマークテストで97%｜GPT-3と同等、ベンチマークテストで97%｜GPT-3より高い、ベンチマークテストで98 | エネルギー効率｜高い｜中程度｜0.5ジュール/トークン｜改善｜0.3ジュール/トークン｜非常に高い｜0.1ジュール/トークン｜高い｜0.2ジュール/トークン｜非常に高い｜0.1ジュール/トークン｜非常に高い｜0.1ジュール/トークン | 多言語サポート｜あり｜あり｜あり｜あり｜あり｜あり｜あり｜あり｜あり｜あり｜あり｜あり｜あり｜あり｜あり｜あり｜あり｜あり｜あり｜あり｜あり｜あり｜あり｜あり | 既存システムとの統合｜｜APIとSDKを提供｜GPT-3.5をFlaskベースのHugging Face Transformersによるチャットサポートに統合｜TensorFlowとPyTorchとの互換性を提供｜AWS LambdaとGoogle Cloud Functionsとの容易な統合を可能に｜WebとモバイルアプリのためのSDKを提供｜CohereはPython、JavaScript、Javaと互換性のあるAPIを提供｜FalconのRESTful APIは既存システムへのシームレスな統合を可能に｜｜FalconのRESTful APIは既存システムへのシームレスな統合を可能に｜｜FalconのRESTful APIは既存システムへのシームレスな統合を可能に｜｜FalconのRESTful APIは既存システムへのシームレスな統合を可能に | 実世界での活用例｜会話AIやコンテンツ生成に活用｜コンテンツ作成ツールから接客ボットまで幅広く活用｜TensorFlowやPyTorchと連携。学術界で活躍中。 | ゲームでは動的な対話に、マーケティングではパーソナライズされたEメールに｜スマートホームデバイスでは音声コマンドに、自動車ではインフォテインメントシステムに｜ヘルスケアではドキュメントの翻訳に、金融では自動レポーティングに｜物流ではリアルタイムのルート最適化に、小売では消費者行動の予測に｜活用されている。 | アクセシビリティ｜クラウドAPIとオンプレムデプロイメントを提供｜相当な計算資源を必要とする｜より広範なアクセシビリティのためにクラウドベースのソリューションを提供。| スケーラブルなクラウドデプロイメントのために設計されており、様々なプロジェクトの規模や予算に適応可能。| 容易なクロスプラットフォーム統合のためのSDKを重視。 | 費用対効果の高い実験のために、クラウドからアクセス可能なAPIを提供。 | 柔軟なクラウドデプロイメントにより、パワーとアクセシビリティのバランスを実現。

結論チャンピオンの選択

今日取り上げたモデルは、2024年のクレーム・デ・ラ・クレームとして際立っている。OpenAIのGPT-4とその多用途性から、Cohereのコヒーレンスへの鋭いレーザーフォーカスまで、これらのLLMはそれぞれユニークでゲームチェンジャー的なものを提供している。

しかし、本当の問題は、どれが自分に合っているかということだ。LLMを使いこなすには、特定のニーズとユースケースを考慮することが重要です。一刻を争うアプリケーションに電光石火のパフォーマンスが必要ですか？Cohereのコヒーレンスが最適かもしれません。あるいは、モバイルアプリ用に効率的でリソースの少ないモデルをお探しですか？Geminiが最適かもしれません。

最終的に選択するのはあなた自身です。しかし確かなことは、これらのトップレベルのLLMを自由に使えば、可能性は無限に広がるということだ。さあ、何を待っているのですか？言語処理のパワーを解き放ち、あなたのビジネスやプロジェクトを新たな高みへと導く時が来たのです。

article.updateAt