本日、えー、ご紹介できることを嬉しく思います。えー、今回のセッションは、AI がプライバシーを壊すこと、そして Private GBT がそれをどのように解決するか、です。今日は Daniel にお越しいただいています。彼は Xon の共同創業者で、えー、Xon は真にプライベートな AI ワークスペースであり、企業のインフラ内で動作する自己完結型の AI ソリューションを提供し、データ所有権とコンプライアンスを保証します。彼のキャリアのこれまでの段階では、えー、主にモバイルデバイス、IoT、ロボティクス、3D プリンティング、ロボットにわたる消費者向け製品に取り組んでいました。えー、その後、Amazon Business Delivery Experience 組織でリーダーシップ職に就き、そこでグローバル規模で影響力のある製品の創出と提供を推進するソフトウェアエンジニアリングチームを見事に形成し、導きました。また、素晴らしい学術的背景もあります。
彼は電気通信工学の学士号と修士号を持ち、さらにプロアクティブなコンテキスト認識型レコメンドシステムの PhD を取得しており、それにより 20 本以上の研究論文で ML 分野に貢献することができました。ようこそ Daniel、ではステージはあなたのものです。ありがとうございます、Stephen。えー、cli チームの皆さん、えー、私をお招きいただき、皆さんのコミュニティ全体にお話しする機会をいただき、ありがとうございます。えー、ご紹介ありがとうございます。
えー、では、えー、今日のために用意したスライドに、えー、さっそく入っていきましょう。えー、すべてが動作しているか確認させてください。はい。私の画面はちゃんと見えていますよね?完璧です。いいですね。
では、えー、Stefan が述べたように、私は Daniel です。えー、silo と private GPT の共同創業者兼、えー、共同 CEO です。今日は、えー、AI がどのようにプライバシーを壊すのかについて話します。これは、私たちが、えー、AI の、えー、オープンソースプロジェクトの所有者であり、AI ネイティブなプロダクトの所有者でもあることを考えると、少し驚かれるかもしれません。そして、なぜ私がこのように主張しているのか疑問に思うかもしれません。えー、しかし実際には、それこそが、ity と insight が作られた理由なのです。では、えー、そこに入っていきましょう。
えー、私の、私の、えー、経歴については詳しく触れません。えー、Stephen がすでにかなりうまく紹介してくれたので、そうですね。えー、かなり多様です。えー、私は人生を通じてプロのエンジニアであり、えー、取り組んできましたが、同時に非常に技術的なバックグラウンドも持っています。ですので、ええ、えー、質問のパートでは、いろいろなことについて議論できると思います。
えー、では Private GPT とは何でしょうか?まず、えー、今日私がここに来るきっかけとなったプロジェクトとは何かから始めましょう。Private G PT はオープンソースプロジェクトで、えー、ローカルかつオンプレミスの AI を持つことを可能にし、基本的にすべてを制御し、えー、LLM をオフラインで動作させます。そして、えー、そうすることで、自分の、えー、プライベートな知識空間、つまりドキュメントを活用し、完全にプライベートな方法でドキュメントと対話することができます。なぜなら Private GBT は自分のノートパソコン上で実行できるからです。えー、つまり完全にプライベートです。データ漏洩は、まったく、えー、起こり得ません。えー、このプロジェクトは 2023 年 5 月にローンチされました。
それ以来、今日まで世界中で何度も GitHub の注目リストに入っています。基本的に、AI におけるプライバシーのための最初の、えー、オープンソースプロジェクトであり、リファレンスです。53K を超える GI がスターを付け、7K を超えるフォークがあり、えー、本当に、えー、健全なコミュニティがあります。ちなみに、私は、皆さんが毎週行っている作業に本当に感謝しています。皆さんは、プロジェクトを、えー、非常に活発に保ってくれています。ありがとうございます。そして Discord はいつも、えー、とても良い場所です。これが Private GPT です。えー、Private GPT は私たちの商用プロダクトの種であり、Private GPT 技術の上に構築したそのプロダクトが silent です。
そしてsilentは、本当に、ええと、プライベートなAIワークスペースです。なぜ私が本当にという言葉を使うのか、今日は理解していただけると思いますが、ええと、silentとは一言で言うと何か。ええ、それは、ええ、ええ、オールインワンのAIワークスペースで、ええ、あなたのナレッジスペース、会社または組織のナレッジスペースを活用して、ええ、ナレッジワーカーが文章を書き、データを統合し、ええ、パートナーとともに作成し共同作成できるようにします。それはLLMとともに、silentの、ええ、インテリジェントエージェントとともに行われます。ええと、それは、ええ、プロジェクトとコラボレーションを中心としたAI体験に向けて完全に準備されています。ですので、ええ、それは、ええ、プロフェッショナルな世界向けに設計されており、ええ、ご存じのように、ロールと権限の管理など、そういったものすべてを備えています。
それは、ええ、本当に、ええ、UX、ええ、フレンドリーなインターフェースで包まれており、それもまた、ええ、完全にデプロイされています。すべてのレイヤー、つまり、その、その、そのLLM、埋め込みモデル、ベクトルデータベース、ええ、バックエンド、フロントエンド、すべてです。それは、ええ、ええ、ソフトウェアパッケージであり、会社のインフラストラクチャ内に完全にデプロイできるため、100%プライベートになります。そして繰り返しますが、これは今日、よりよく理解していただけるものです。なぜなら、プライバシーについて話すとき、特に新しい、ええ、AI時代においては、ええと、興味深いことがあります。つまり、外に出てAIにおけるプライバシーについて読むと、基本的に誰もがプライベートだと主張しています。ええ、しかしこの主張は興味深いものです。なぜなら、自分たちはプライベートだと言うとき、その表面の下に何が、ええと、あるのかを理解するためには、少し深く掘り下げる必要があるからです。というのも、プライバシーには異なるレベル、異なる粒度があり、これこそが今日レビューしていく内容だからです。
ええ、私は皆さんに、さまざまなアーキテクチャ、B2B環境向けの、ええ、AI、ええと、アプリケーションを解決するさまざまな方法について、完全な概要を提供したいと思います。特に、次に、ええ、私たちは完全にプライベートです、という文言を読んだときに、あなたが、なるほど、これはあなたがカバーしているプライバシーのレベルだ、あるいは、あるいは、あるいは別のレベルだ、と理解できるようにするためです。では、ええ、この問題がAIにおいてなぜ問題なのかを理解するさまざまな方法に、直接入っていきましょう。つまり、その、その、silentを含むこれらすべての製品が解決したい問題は、ええ、AIがプライバシーを壊すということです。そしてプライバシーを、シンプルな、ええ、方法で壊します。なぜなら結局のところ、あなたが自分のデータを、ええ、AIプラットフォームに提供するとき、基本的にあなたはこれらの、ええ、ええ、プラットフォームに自分の心を開いていることになるからです。そして私たちは、ええ、たとえばOpenAIが、私たちがCGPTに投入したデータを使ってモデルを訓練しているというニュースをいくつも読みました。
そしてその後、人々がそのようなデータを抽出するためにリバースエンジニアリングを行っています。つまり、最終的に使われる学習データは、ええ、何らかの技術によってアクセスされ得るのです。そして、この種のプラットフォームにこのデータを提供するなら、私たちは自分たちのデータをリスクにさらしていることになります。ですので基本的に、あなたはデータ主権を失っているのです。ええと、ええ、企業について考えるとき、ええ、彼らが、ええ、管理するデータに対して強い規制がある企業、たとえば、ええ、医療、公共政府、防衛、軍事、そのようなもの、ええと、金融、法務などでは、ええ、コンプライアンスが重要な要素です。
そして、エンジニアとして、技術者として、ええ、ええ、あるいは、あるいは自社のプロダクト担当者として、あなたが会社にAIサービスを統合したい場合、そうすることの法的な影響について、ええ、よく考える必要があります。なぜなら、ええ、いくつかのツールを使用することで、自社のコンプライアンスに違反している可能性があるからです。したがって、自分の業界に必要なプライバシーのレベルを理解することが重要です。そしてそうすることで、適切なソリューションを選びやすくなります。では、ええと、これは今日の時点で私たちが、ええ、懸念すべきことなのでしょうか?はい。ええ、1年前、ええと、AI、ええ、環境はまったく違っていました。
AIの導入は、ええと、ええと、ご存じのとおり、今日現在、猛烈な勢いです。ええと、これは、ええと、ええと、Microsoftand LinkedInの調査で、ええと、数か月前に共有された数字の一部ですが、知識労働者の約75%がすでにAIを使用しています。そして、こう考えるかもしれません。なるほど、つまりこれらの、ええと、労働者の75%はすでに会社に準拠した何らかのソリューションを導入しているのだ、と。残念ながら、それは現実ではありません。私たちはこれに毎日遭遇しています。
silentandのクライアントや、これらの企業の大多数と話すとき。彼らが行ってきたことは、プライバシーリスクのために、これらのツールの一部、特に完全に無料またはオープンなもの、たとえばB2C向けのCGPTの使用を禁止したということです。そして、そして問題は、その種のツールを禁止すると、通常、従業員が裏で自分の個人アカウントを作成し、ええと、会社の目的のために使い続けることであり、これは、ええと、問題をさらに悪化させています。なぜなら基本的に、従業員によって自社のデータがどのように使用されているかについて、完全に制御不能、またはまったく制御できない状態になるからです。そしてこれは、ええと、企業が日々直面していることであり、これは現実の問題です。
では、外部にどのようなソリューションがあるのか、そして、ええと、プライバシーのレベルをどう理解し、どのソリューションが自社の環境に最も適しているのかを理解する方法を考えてみましょう。ええと、先ほども言ったように、誰もが、ええと、その製品はプライベートだと主張しています。そこで、ええと、ええと、実際にどの程度のプライバシーレベルに準拠しているのかを理解するために、少し深掘りしてみましょう。ええと、最初のものは、ええと、私がコンプライアンスSaaS、software as a serviceと呼ぶもので、基本的には、ええと、すべてまたはインフラストラクチャをクラウドアーキテクチャ上に持つ、ええと、製品です。ええと、そしてこのクラウドアーキテクチャは、彼ら自身のものかもしれませんし、ある意味で他社のものかもしれません。つまり、彼らが管理するクラウドにコアビジネスを持ちながら、AI、ええと、アプリケーションのさまざまな機能を実装するために異なるサードパーティを利用している可能性があるということです。
ええと、この種の、ええと、製品について最も興味深いことは、通常、それらはSOC 2、ええと、GDPR、ええと、HPA準拠であるということですが、これだけでは十分ではありません。なぜなら結局のところ、ええと、これらの認証は通常、ええと、データを手続き的にどのように管理しているかを指すからです。ええと、しかしサードパーティを使用している場合、その点について、ええと、何らかの、または一部の制御を失うことになります。なぜなら、あなたはSOC 2であっても、ええと、サードパーティはSOC 2ではない可能性があるからです。さらに、たとえあなたのサードパーティがSOC 2またはGDPR準拠であっても、あなたはそのサードパーティを制御できません。したがって、あなたのサードパーティが、データ侵害やセキュリティ問題を起こした場合、あなたはそれを修正できません。なぜなら基本的に、あなたはそのサードパーティの所有者ではないからです。つまり基本的に、あなたの製品は他者のせいでリスクにさらされるのです。
ええと、そしてこれは結局のところ、これらの、ええと、アプリケーションに提供しているデータに対する制御を失わせるものです。ですからご覧のとおり、ええと、図では、プライベートなデータは赤色になっています。あなたはこれらの、ええと、AI SaaSプロバイダーに、生の形でデータを提供しています。そしてこのAI SaaSプロバイダーは、ええと、あなたのデータをスコープし、あなたのデータをさまざまな目的のために他のサードパーティに配布しています。たとえば、ええと、ご存じのように、埋め込みや、ええと、取り込み、または、ええと、ベクトルデータベース、あるいは推論にさえです。したがって、これらすべてが基本的にあなたのデータのコピーを生成しており、あなたは、ええと、そのようなデータの制御を失っているのです。
そしてこれに加えて、これらすべての第三者を信頼する必要があり、AIサービスを提供しているこの、ええと、from phase、ええと、会社が、たとえばあなたのデータを自社モデルの訓練や自社システムの訓練に使用していないことを信頼する必要があります。うーん、もちろん、結局のところ、これは、ええと、信頼の問題です。もちろん彼らを信頼することはできます。そして、そして、そして、それで問題ないのであれば、ええと、それは良いことです。私は、これらが悪い選択肢だと言っているわけではありません。ただ、ええと、使用しているデータのために特定の規制やコンプライアンスに縛られている場合、繰り返しますが、医療、法務、ええと、防衛、公共政府などでは、あなたは、ええと、この種の、ええと、ものを使用していないかもしれませんし、あるいは、完全に、うーん、つまり、この種のソリューションを使用することは、ええと、違法になるでしょう。なぜなら、自分のデータを完全に制御する必要があるからです。
つまり、これは、この種の、ええと、うーん、プライバシーレベルであり、このような、ええと、サービスを使用するときに認識しておく必要があるものです。ええと、うーん、業界には、ええと、いくつものものを思い浮かべることができます。では次に進みましょう。次のものは、ええと、ええと、ええと、この、ええと、SaaS、ええと、クラウドベースの、ええと、アプローチの興味深い進化形であり、それは、ええと、アーキテクチャに含まれるデータ匿名化、ええと、レイヤーです。つまり基本的に、あなたがデータを持っていて、それをサービスに提供する場合、その中間に、ええと、ええと、データの匿名化を担当するものを置けば、前に議論していた問題の一部を、ええと、解決できるかもしれません。たとえば、うーん、規制のために開示できない、他者と共有できない法的契約について考えてみましょう。しかし、できることとしては、文書内のデータ、法的契約のデータを匿名化し、ええと、名前や数字や日付を、ええと、仮名またはプレースホルダーに置き換えることです。
そしてそうすることで、その、その文書を匿名化していることになります。ですから、文書がすでに匿名化されている状態になると、ここで変化が分かりますが、あなたのデータは赤で示され、共有されたときにリスクがあります。そしてその後、あなたのデータは青で示され、これは基本的に匿名化されているということです。その時点以降は、前に見たのと同じパターンに従います。ええと、前のアーキテクチャで見たものです。そしてあなたの、うーん、データはこれらすべてのサービス全体にコピーされることになりますが、あなたの、ええと、データは匿名化されていることになります。ですから、うーん、あなたの、うーん、この種のサービス、この種の第三者サービスは、おそらく、うーん、自分たちのサービスを訓練するためにあなたのデータを使用することはできないでしょう。なぜならあなたのデータは匿名化されているからです。
つまり、彼らはそのような文脈情報を失っているのです。しかし、ここがこの問題点なのですが、あなたは、より高いレベルのプライバシーを達成していますが、その代償があります。まず第一に、会社内にこのオンプレミスの匿名化を持つ必要があります。これは、ええと、大きな問題ではありません。考慮する必要があることではありますが、同時に、ええと、品質の低下も考慮する必要があります。そしてこれは起こり得ることです。なぜなら、データを匿名化するという事実によって、LLMに提供する文脈データが、うーん、豊かでなくなる可能性があるからです。
そしてそうすることで、LLMは、ええと、推論を、ええと、実行するときに、より悪い、ええと、結果を提供する可能性があります。ですから、匿名化によってより多くのプライバシーを達成するために、あなたが、ええと、投資しているこのトレードオフを理解することが重要です。ええと、より保護されることにはなりますが、LLMによって生成されるあなたのデータ、LMによって生成される結果は、ええと、完全な、ええと、文脈を提供している場合よりも悪くなる、または、ええと、豊かでなくなる可能性があります。そしてこれは、この種のソリューションを選ぶときに、ええと、バランスを取り、理解する必要があるトレードオフです。そして次に、ええと、ええと、明らかなリスクがあります。それは、ええと、匿名化方法、匿名化プロセスが何らかの形で失敗した場合、あなたのデータは完全にスムーズになります。
ええと、それから前の、前の、ええと、ええと、あなたのデータがコピーされている、ええと、または他者によって、ええと、別の第三者にコピーされているモデリングに戻ります。ですので、この種のトレードオフを念頭に置いてください。なぜなら、ええと、結局のところ、プライバシー、あるいは達成したいプライバシーのレベルというのは、ええと、どのトレードオフを行いたいのか、どの方向に進みたいのかを理解することの問題だからです。では、ええと、次に進みましょう。次は、ええと、ローカル実行です。そして、ええと、ローカル実行では最終的に、ええと、あなたが実現しているのは、ええと、システム全体が制御されたデバイス、隔離されたデバイス上で動作するソリューションです。
では、ええと、例えば、private GPTの例を使いましょう。あなたは、ええと、後ほどprivate G PTについてさらに話しますが、もしノートパソコンのような、あ、あ、個人用デバイス、または、あ、あ、つまり、自宅にある自分だけが使う個人用サーバーを持っているなら、ええと、AI関連のロジックすべて、すべての推論を実行でき、ええと、この個人用デバイス上に、ええと、ChatGPTのようなアプリケーションを持つためのすべてのレイヤーを構築できます。そして何も外部には出ません。100%プライ、ええと、プライベートになります。そして実際、インターネットから切断することさえできます。なぜなら、ええと、LLMはインターネット接続を必要としないからです。
一度、ええと、セットアップされていれば。ええと、これは、ええと、興味深いソリューションになり得ます。しかし、すでに考えているかもしれませんが、ええと、これはスケールしないものです。なぜなら、ええと、非常に良い体験を得るため、または、AIを大規模に扱うためには、ええと、ええと、本当に強力なデバイスが必要だからです。そして、これは、最大レベルのプライバシーを提供するソリューションですが、その代わりに、ええと、環境内でのスケーラビリティとピア間のコラボレーションをすべて犠牲にします。なぜなら結局のところ、ええと、その、ええと、AIシステムが単一のマシン上で動作しているだけになるからで、ええと、ここでもやはり、ある方向に進むのか、または別の方向に進むのかのトレードオフを評価する必要があります。この場合は、ええと、完全な隔離、完全なプライバシーです。
ええと、ご想像のとおり、この場合、ええと、あなたのデータは決して、ええと、他の場所にコピーされません。なぜなら、あなたのデータはあなたのデバイス、あなたのサーバー、またはあなたのノートパソコン、または、ええと、あなたのスマートフォンに残るからです。ええと、次に進みましょう。ええと、すみません。ええと、次は社内開発です。そしてご想像のとおり、そして実際これは、ええと、ええと、私が、ええと、多くの、ええと、実際の例を挙げられるものです。人々はprivate GPTを活用して、自分たちの社内開発を作り出しています。
そしてこれは完全に価値があります。なぜなら結局のところ、もしあなたが、ええと、会社内でAIシステムを持つために関わるすべての技術をゼロから作り、エンドツーエンドの開発すべてに配慮するなら、ええと、これは、ええと、完全なプライバシーを提供するものになりますが、ええと、そのコストは大多数の企業にとって現実的ではないかもしれません。なぜなら、ええと、かなりの時間、かなりの金額を投資する必要があり、そして、そして、必要な技術すべてと、それに関連する必要な機能すべてを構築することに集中する、あ、優れたチームを持つ必要があるからです。なぜなら、それはAIレイヤーを構築するだけではないからです。バックエンドも、フロントエンドも必要になります。ええと、AIに関する、ええと、すべての、ええと、ええと、つまりユースケース、すべてのパイプラインを取り巻くビジネスロジックを開発する必要があります。ですので、それは単に、ええと、単純な推論を実行できるようにLLMをセットアップするだけではなく、ソフトウェア製品全体を開発する必要があるのです。
そして、ええと、その意味するところは基本的に、本当に、本当に高額なプロジェクトであり、私の経験では、ええと、一定の規模でシステムを持ちたい人たちにとって、ええと、ええと、それが実現可能なのは本当に、本当に大企業だけです。ええと、なぜならそれは、ええと、やはり会社からの時間、資金、そして注力という、ええと、本当に大きな量に関係するからです。ええと、次の、ええと、選択肢は、ええと、文字通りこれ、前のものです。しかし、ええと、それを自分で行う代わりに、あなたは、ええと、これを代わりにやってくれる製品を選びます。そしてこれは文字通り、例えば、私たちがsiloで行ってきたことです。つまり最終的には、ええと、ええと、自分で開発するのと同じですが、この場合、プラットフォーム全体が他者によって提供されるということです。
ええと、例えば、これは私たちが、silentでやっていることであり、私たちはこれらすべてのレイヤーを、ええと、単一のパッケージとして持っていて、それを、ええと、クライアントのインフラ内に、企業または組織に、デプロイできる唯一の存在です。ですから結局のところ、ご覧のとおり、ここにあるのはあなたのプライベートデータです。それは常に、ええと、保護されています。100%プライベートです。データ漏洩の可能性はありません。なぜなら、あなたのデータはあなたのインフラ内に留まるからであり、この場合、システム全体、silentまたは、ええと、製品、AI製品が、あなたの、ええと、インフラ内に存在し、稼働しているからです。
ですから結局のところ、あなたは自分の分離レベルをカスタマイズでき、そして、ええと、あなたのプライベートクラウド内にシステムをデプロイするところから、あるいはデータセンターのベアメタルにデプロイすることもでき、さらにはデータセンターをインターネットから切断することさえできます。private gtで見たのと同じ、同じケースです。ご覧のとおり、これは一種のプライベートG PTを実際の規模で、エンタープライズ規模で実現するものです。ええと、この、ええと、アプローチについての唯一の欠点は、先ほど言ったように、ええと、完全なプライバシー、ええと、すべての機能が、ええと、手元にある一方で、唯一の、ええと、ええと、欠点は、自分自身のインフラが必要になるということです。あなたは、ええと、自分自身のプライベートクラウドまたはデータセンターを管理する必要があります。なぜなら、ええと、100%のプライバシーを保証する唯一の方法は、それを自分自身で運用することだからです。
なぜならそのようにすれば、サービスを提供する、ええと、会社、例えばsilentのような場合、ええと、私たちでさえあなたのデータにアクセスできないからです。つまり、それは完全に、ええと、あなたによって管理されることになります。そしてそうすることで、ええと、完全な、ええと、100%のプライバシーを保証できるのです。これらが、B2Bアプリケーションにおけるプライバシーを目指す際に、ええと、見つけられる、ええと、さまざまなレベルです。では、ええと、ここからは、ええと、private GPTで何ができるかを確認してみましょう。そしてその後、私が今、ええと、示したそれらのさまざまなレベルに、ええと、対応するための異なるセットアップを検討します。
そして、そして私はもちろん、ええと、private G ptに接続するために必要となるコンポーネントやモデルの実例を、ええと、使用します。ではまずprivate GPTから始めましょう。private GPTとは何かを、機能的またはユーザー向けの観点だけではなく、アーキテクチャの観点からも少し深く見ていきます。つまり、private G ptは、前に述べたように、プライバシーを念頭に置いたコンテキスト認識アプリケーションを開発するための、ええと、全体的なフレームワークです。そしてprivate GPTのやり方は、ええと、私たちが、ええと、コミュニティ内の多くのオープンソースの、ええと、コンポーネントを活用して、ええと、AIプロジェクトの開発に関連する困難から自分たちを切り離すことを可能にする、ええと、完全な、ええと、フレームワークを作成したというものです。ですからこの場合、private GPTは、ええと、私が後でそれらが何であるか説明する、ええと、drug primitivesとrecipesのための一連のAPIを公開します。
私たちは、ええと、そのすべてを、コミュニティ発の別のオープンソースである、ええと、LAMA Index の上に構築しました。また、オープンソースやエンタープライズのコミュニティにある多くの部品も使っていますが、それらを活用できます。たとえば、ええと、推論や、ええと、モデルの部分については、LAMA を使うこともできますし、Lama CPP、あるいは Nvidia の Triton を使うこともできます。ええと、それはあなた次第です。結局のところ、private は完全に設定可能だからです。つまり、ええと、YAML 設定ファイルを変更するだけで、どの推論サーバーを使うかを決められます。そして同じ方法を使って、ええと、異なる大規模言語モデルを活用したり使用したりできます。lama を使っているかもしれませんし、minstrel を使っているかもしれません。
ですから実際にはあなた次第で、cloud のような、あるいは open ai のようなプライベートモデルを使いたい場合も、そうすることができます。なぜなら、ええと、private EPT は、1年以上前に OpenAI が提案した標準に基づく一連の API を公開しているからです。そしてそれは、ええと、現在の、ええと、OpenAI アカウントから切断して、private GPT を使い、下に別の LLM を設定するだけ、というくらい簡単です。そして、すぐに動作します。もちろん、自分の埋め込みモデルを選択できますし、もちろん、ベクトルデータベースも選択できます。ええと、private GPT と完全に統合されているベクトルデータベースの1つが mebo です。
ですので、これは、ええと、すぐにそのまま使えるものです。これが private GBT の全体的なアーキテクチャです。もう少し、ええと、詳細に入っていきましょう。private GBT の上に構築する方法、private GBT の上に構築するためには、先ほど述べたように、私たちには rest、API があり、異なる一連の、ええと、API を提供しています。
1つは、私たちが primitives API と呼んでいるものです。そしてこれは、先ほど言ったように、OpenAI の、ええと、API 標準を拡張しながら、コンテキストアプリを作成するために必要となる、ええと、構成要素です。そして私たちは、ええと、この、ええと、API をレベルに分けています。高レベル API は、LLM や埋め込みなどをどう扱うかという、ええと、より、ええと、難解な詳細に入りたくない人向けです。そして高レベル API では、基本的に、あなた自身のドキュメントを取り込むために使える、すぐに使える RAG パイプラインです。ええと、そしてそれは、解析、分割、異なるチャンクのメタデータ作成を処理し、ストレージ上でそれらを変化させることも処理します。
ええと、そして、ドキュメントと対話するための完全な、ええと、チャット体験を作成する機会を提供するために、Satan と補完のための API もあります。つまり、コンテキスト検索、プロンプトエンジニアリング、そしてすべての応答生成を処理します。とても簡単で、ただの、ええと、シンプルな rest、ええと、API がそれを可能にします。もっと詳細に入りたい場合、さらに、ええと、private GPT に統合したいコンポーネントの種類を、ええと、もっとカスタマイズしたい場合は、自分自身の rack パイプラインを作成できます。これが低レベル API です。
そしてこれは、ええと、埋め込み生成をいじるための機能を公開します。独自のアルゴリズムを作成して、ええと、あるいは埋め込みやドキュメント取り込みのための独自のロジックを作成できます。また、ええと、チャンクのコンテキスト検索のための独自のロジックも作成できます。つまり、ええと、チャンクを作成することと、その後、ええと、それらにメタデータやその他の、ええと、操作したい、操作したい属性を付与することの両方について、あなたの戦略を決めることができます。そして、ええと、ごく最近、実際、これは、ええと、1か月前にリリースしたものですが、recipes api、API です。recipes API は、ええと、すぐに使える、ええと、AI ネイティブのユースケースのセットで、私がたった今1つずつ述べた特定の機能から、より高いレベルで完全に抽象化することを可能にします。
そして、完全な、ええと、ユースケースに進みます。この場合、私たちは数週間前に、thesummarize、ええと、ユースケースをリリースしました。これは基本的に、1つ、または一連のドキュメントを単一の、ええと、テキストに要約できるようにするユースケースです。そして、最終的に、最終的な、ええと、ええと、ドキュメントまたは一連のドキュメントを要約する方法を考慮してコンテキストウィンドウを移動するために、3方向内のさまざまなノードの、ええと、すべての生成を処理します。ご想像のとおり、使用しているLLMによっては、コンテキストウィンドウはドキュメント全体をそのまま入れるには十分ではありません。
大きな本や複数の本を要約したいと想像してみましょう。ええと、最終的な要約を生成するまで集約されていくさまざまな要約を作成するために、ええと、さまざまな手法が必要になるかもしれません。これが私たちがrecipesで行っていることです。私たちはユースケース全体を作成します。そしてsummarize, APIを使用することで、これを、ええと、すぐに行うことができます。
これが、そのAPIです。そして、こう考えているかもしれません。よし、これを使うには本当にrest、ええと、HTTPメソッドを通す必要があるのか?いいえ。コミュニティが活用するのにさらに簡単な他の選択肢があります。まず、Python, SDKがあります。これは、ええと、MLコミュニティにとって非常に便利なものです。そこで、ええと、私たちは、ええと、今年の初めにSDKをリリースし、ええと、これを公開し、ええと、私たちのIPIライブラリで公開しているので、インストールして、そして使用できます。また、先ほど言及したものと同じ、ええと、rest APIを備えています。
そのため、使用するのは非常にシンプルで、わかりやすいものになります。そして、別の方向に進みたい場合、たとえば、独自のウェブサイトアプリケーションを開発したい場合には、私たちのtype script, SDKがあります。そしてPython向けSDKとまったく同じ哲学です。使いやすく、ええと、完全にマッピングされています。rest, APIについては、NNPMライブラリとして公開しており、ええと、web、ええと、componentとno GS componentの両方をインストールできます。react adapterも組み込みで用意しています。
これにより、ご想像のとおり、rest APIを活用して、ええと、アプリケーションを完全にゼロから作成できますが、すでに、ええと、Pythonの、Pythonでのアプリケーション、または、ええと、任意のウェブ技術でのアプリケーションをお持ちであれば、type SDKまたはPython sdkを使用でき、開発タイプを、ええと、大幅に加速できます。ええと、開発をいじりたくない方、または単に物事を本当に速く、または本当にローカルな方法でテストしたいだけの方、自分で何かを開発する必要はありません。自分の、ええと、LLMまたは個人用LLMを手元のマシンに置きたいだけの場合。ええと、私は、Gladio UI clientを使うことを完全におすすめします。これは、ええと、マシンにprivateをインストールしてデプロイすると、ええと、すぐに利用可能で、見てわかるようなルックアンドフィールを備えています。これは、実行したいLLMの種類、実行したいinference、ええと、serverの種類を選択できる、ええと、chatベースのインターフェースです。
この場合、たとえば、alamaを使用しており、モデルはMistralです。ええと、そしてクエリを実行したり、semantic searchでファイルを検索したりできます。ええと、ドキュメントからのコンテキスト情報を一切組み込まずに、LMが学習したknowledge baseに直接チャットすることもできます。しかしもちろん、ここで興味深いのは、あなたのドキュメントを組み込むことです。ここには、ええと、ええと、取り込まれたファイルを管理し、それらを削除したり、ええと、ライブラリを管理したりする方法があります。
これは、技術的な詳細であまり複雑にしたくない人にとって、かなり便利なものです。つまりこれは、ええ、繰り返しになりますが、private gt をあなたのコンピューターで使うための、すぐに使える方法です。はい。これで、ええと、private GPT がどのように、ええ、さまざまな用途に活用できるのか、すみません、private GPT がどのように機能し、private GPT が開発者または開発の観点から、ええ、あなたにどのような機能を提供するのかについての概要を把握できます。では次に私がやりたいのは、ええと、今お話ししたことと、前に述べたさまざまなプライバシーレベルを少し組み合わせて、private GPT がそのうちのいくつかをどのようにカバーできるかを見ることです。
ええ、ええ、private GT が最もプライベートな方法をカバーする極端なケースは silo です。なぜなら silo では、文字どおり、昨年 private gt の上にプロジェクト全体を開発したからです。ええ、ただ、これをいくつかのケースを見ながら少しずつどう発展させていくかを見ていきます。ではまず、前に述べたローカル実行から始めましょう。ローカル実行は、先ほど言ったように、A LLM とやり取りする最もプライベートな方法です。なぜなら、あなたのデータはすべてあなたのコンピューター、または、ええ、あなたのサーバーに残るからです。つまり、それが自宅にあるマシンであれば、インターネットに接続するかどうかさえあなた次第です。したがって、画像で見ているものをすべてインストールした時点で、ええ、ローカル環境にあるデータを完全に制御できるようになります。
つまり、インターネットから切断することすらできます。ええと、private GPT として、このようなユースケース、このようなローカル実行を進めて探索するために推奨している、ええと、一般的なアーキテクチャは何でしょうか。私たちの推奨は、推論サーバーとして alama を使うことです。alama は、GPU をどのように設定するか、LLM をどのように統合するかを、かなり簡単にしてくれます。実際、A LAMA にはすでに、たとえば SRA や LAMA 3 のような、さまざまな LLM との事前統合があります。
- そのため、そこで多くの選択肢があり、かなり簡単です。デスクトップ用のインストーラーがあり、非常に簡単に始められます。ですから、ローカル実行でこれを試し、完全にプライベートな方法で LMS の力を活用したい人には、それをお勧めします。次にモデルについてですが、現時点では LAMA 3 を選ぶと思います。
18 billion です。ただし、それは皆さん次第です。昨日か一昨日、MIS trial が 12 billion の、ええと、マルチモーダルな、ええと、テキストと画像の両方を扱うためのモデルをリリースしました。ですので、何を選ぶかは皆さん次第です。ええ、それからベクターデータベースについては、たとえば BU light を使うことができます。これは、インストールをあまり複雑にせずに自分のベクターデータベースを持つための、非常に軽量な方法です。スタイルに関するドキュメントも非常にわかりやすいです。そして埋め込みモデルについては、もちろん、非常に多くの埋め込みモデルの中から選択できますが、通常私たちは、この場合は no を推奨します。ただし、繰り返しになりますが皆さん次第で、hugging phase に行って埋め込みモデルを確認できます。
それは、サポートしたい言語にも依存します。英語をサポートしたいのか、あるいは、スペイン語やフランス語やアラビア語をサポートしたいのかによって、選択した埋め込みモデルを考慮しながら、AI システムの目的をどのように選ぶかを理解するための、興味深い方法がたくさんあります。結局のところ、埋め込みモデルは、あなたのデータを、ええと、後で LLM が扱うことになる埋め込みへと変換する責任を持つものだからです。ええ、その上で、private GPT が実際にすべてをラップします。そして、前にも言ったように、gladio UI client が最も簡単な方法です。ただし、自分の Python client や web client で試したい場合は、それは皆さん次第です。
これは、これはとても簡単に進められますし、あなたでも、ええと、コンソールで管理できます。なので、ええと、かなり簡単です。ええと、これに必要なインフラについてですが、これは私たちがよく受ける質問なので、商用ラップトップなしでもできますが、理解しておく必要があるのは、ええと、ほら、特にGPOに関して、これを実行するためには少なくとも最低限のパワーが必要だということです。一方で、モデルを動かすためには、ある程度のRAMも必要です。ですので、私たちからの推奨としては、ええと、実際に私が使っているのはMacBook Pro M threeです。
ええと、これは、ほら、ええと、安いラップトップではないことは分かっていますが、同時に、ものすごく、ものすごく高価なものでもありません。なので、ええと、ええと、これは選べるもので、すべてが、ええと、かなり、かなり良い品質と良い応答時間で動作します。ええと、もし別の、ええと、実行環境に移るなら、今回はクラウド実行だとしましょう。なぜなら、あなたのプライベートGPTインスタンスをどこからでもアクセス可能にしたいからです。その場合、私はこのようなセットアップをおすすめします。ええと、このようなセットアップは基本的に、ええと、クラウドインフラ、ええと、インフラストラクチャが必要になります。そして、ええと、それを行うには、クラウドインスタンスが必要で、そこに、ええと、これ、先ほど述べたのと同じサービスをデプロイします。
もちろん、これを複数のクラウドインスタンスに分割することもできますが、最もシンプルな、ええと、アーキテクチャは、この場合Lamabuを持つことで、私はBU standaloneを選びます。ええと、これはすでにDockerイメージで準備されています。なので、もしそこにDockerがあれば、あなたの、あなたのインスタンスに、ええと、インストールするのはかなり簡単です。そして、そこにDockerを入れることを強くおすすめします。実際、私たちはあなたの、私たち自身の、ええと、private GPT Dockerイメージを持っています。なので、ええと、これを、ええと、インスタンスに、この、ええと、クラウドインスタンスに置くことができます。
また、ええと、例えば、private GPTを使う他の、ええと、方法を探るために、あなたはnode JS、ええと、サーバーを持つことができ、ええと、typeof script web clientを使って、ええと、web、ええと、clientを持ち、private GPTを、ええと、ウェブサイト、ええと、の形で持つことができます。ええと、そうすることで、あなたは、ええと、同時に異なるデバイスから、そしてリモートであなたのラップトップやスマートフォン、またはあなたが持っているどんなものからでもアクセスできるようになります。そしてここで興味深いのは、ええと、先ほど言ったように、これを分割できるということです。no JSとweb clientを別のサーバーに置いて、すべてのweb部分だけを提供し、そして私たちは、あなたは、AIにより関連する残りのコンポーネントを別のインスタンスに置くことができます。ただし、まずはシンプルさのために、この形のままにしておきましょう。
しかし、スケールアップするために本当に非常に興味深いことが一つあります。ええと、なぜなら最終的に、ローカル実行について議論していたときの制約は、あなたのラップトップまたはローカルマシンに関連するパワーだったからです。ですので、これをスケールアップする方法は、基本的には、ええと、クラウドベースの、ええと、モデルプロバイダーを活用することです。そして、そして私はこれらの特定の言葉を使っています。なぜなら、あなたは、例えばopen aiのような、a PAトークンベースの、ええと、サービスを使っているわけではないからです。ちなみに、それも可能ではありますが、ええと、ここで私が提案しているのは、あなた自身のモデルをあなた自身の、ええと、Amazonfor SageMakerにデプロイすることです。そして私はAmazonSageMakerと言っていますが、他にも選択肢はあります。そして私たちは明らかな理由でAmazonでの作業に慣れています。私はそこに数年間いました。
しかし、ええと、いずれにせよ、ええと、重要なのは、ええと、embedding modelとLLMを、ええと、Amazon SageMakerを通じて提供できるということです。ええと、そうすることで、あなたが、ええと、誰もあなたのデータをスパイできないように制御する側になります。なぜなら、あなた自身のモデルを提供しており、このクラウドインフラストラクチャをあなたが制御しているからです。つまりプライバシーは維持されます。ここで重要なのはそれです。覚えておいてください。ですので、例えば、あなたの、ええと、AWS cloud infraを持つことで、先ほど述べたサービスを実行する1つのクラウドインスタンスを持つことになります。
そしてもう一つ、ええと、即席と呼びましょうか、ええと、sales makerのインスタンスがあり、ええと、LLMとembeddingを提供し、それがprivate GPTに接続されて、AIオペレーション全体を行うことになります。つまりこれは、ええと、ええと、ええと、スケールを可能にする優れたセットアップです。そしてもちろん、もし私に「次のステップは何ですか、Danny?」と聞くなら、次のステップは、ええと、明らかです。次のステップは、ええと、これをスケールアップする必要があるということです。そしてそのためには、ええと、ロードバランサーのようなものを含める必要があるかもしれません。
ええと、リクエストの同時実行性を確保できるようにするために、ええと、異なる推論サービスが、ええと、必要になるかもしれません。これを本当にさまざまなユーザー向けにスケールアップしたいのであれば、ユーザーからのリクエストのパイプラインも、ええと、管理する必要があります。そしてこれはあなた次第です。正直なところ、私は、私はここで、ええと、特定のアーキテクチャを提案していません。なぜなら、ええと、ご覧のとおり、ええと、このスライドに戻ってみましょう。たとえば、これは私たちがsilentで持っているもののスナップショットであり、私たちがsilentで持っているものを本当に簡略化したものです。そしてsilentでは。
私たちにはGPU管理とInference serverがあります。ええと、その上に、LLM、Vector database、ingestion、ええと、service、そして画像、ええと、ドキュメント、画像ベースのドキュメントを管理するためのOCR serviceがあります。その上にsilent GPTがあり、これは結局のところ、ええと、ええと、ステロイドを注入したprivate GPTのようなものです。ええと、私たちが、ええと、ご存じのように、ええと、同時実行性、キャッシュ、リアルタイム実行、ええと、より複雑なデータパイプラインを持つために開発してきたものであり、より大きな企業や組織向けにスケールして動作できるものです。そしてその上に、asylum platformからの、すべてのAPIがあります。
そして、ええと、その時点から先は、あなたがどのようなプロダクトになりたいか次第です。なぜならそれは、ええと、あなたのユースケース、ええと、顧客に提供したい価値提案によって定義されるからです。ええと、それがバックエンドに存在するビジネスロジックを決定します。それが、ええと、UIレイヤー、ええと、顧客向けのレイヤーで持つことになるユーザー体験を定義します。ですからご覧のように、これがprivate Gからスケールアップできる方法です。そしてこれは文字どおり私たちが行ったことです。
私たちは1年前にprivate GPTから始め、そして、ええと、ええと、水平方向および垂直方向に、ええと、複雑性においてスケールアップしました。なぜなら、ええと、100人または1000人のユーザーにサービスを提供したい場合には、多くのことを考慮する必要があるからです。では、ええと、そろそろ締めくくります。ええと、質問のための時間を少し残しておきたいと思います。ですので、今日の主な結論は、ええと、誰かが「私には、ええと、ええと、プライベートなAIプロダクトがあります」と言ったとき、それはさまざまな意味を持ち得るということを覚えておいてください。そして今日見てきたように、ええと、考慮すべき、あるいは到達を目指せるプライバシーのレベルは少なくとも5つあります。そしてここで重要なのは、プライバシーと、最終的にその上にかけたい必要な労力や、ええと、投資とのトレードオフを理解することです。なぜなら、ええと、もしあなたが、厳しいコンプライアンスを伴う非常に規制の厳しい世界にいる企業や組織で、ええと、ええと、機微なデータを扱っているのであれば、多くのサードパーティを活用している、ええと、単純なSaaSサービスを利用したときに何が起こるのかを認識しておくことが重要だからです。何かが起きた場合、それはあなたのデータを、ええと、完全に制御不能な状態に置くことになります。ですから、ええと、こうしたシナリオでは、必要なプライバシーの粒度を理解することが重要です。ええと、もちろん、もしあなたが自宅にいる個人開発者で、LLMsを、ええと、試してみたい、あるいは、小さな環境で同僚がコラボレーションできるようにしたいのであれば、私は完全に、ええと、cloud execution、ええと、あるいは先ほど紹介したcloud architectureを選ぶことをお勧めします。なぜなら、それは、ええと、構築しやすく、そして、かなり、ええと、試してみるのに良いものだからです。ええと、繰り返しますが、プライバシーレベルとトレードオフを認識し、プライバシーと、必要な投資および労力、ええと、そのバランスを取ってください。
それでは、ええと、締めくくります。ええ、ただ皆さん、参加してくださってありがとうございます。それから、私の、ええと、背景からのちょっとしたリマインダーですが、私たちには2つのプロジェクトがあります。ええと、私たちの会社には private GPT があります。これはオープンソースプロジェクトで、おそらく皆さんの大多数がご存じだと思います。そして Silent があります。これは商用ソリューションで、オンプレミスのプラットフォーム、AI のためのオールインワンのワークスペースです。ですので、もし両方、またはどちらか一方にご興味がありましたら、Discord でもメールでも、ぜひご連絡ください。ええ、ご質問にお答えできれば、私にとって喜びです。
それでは皆さん、お時間をいただきありがとうございました。本当にありがとうございます。ありがとうございました。実際とても興味深かったです。ええと、続けます。チャットに Justin からすでに1つ質問が来ています。なので、これは実際には silent に関連しています。
それで、どのように動作するのですか?読み上げますね。つまり、どのように動作するのですか?データを silent に送る必要があるのですか、それとも silent がまずあなたのインフラ上であなたのデータに対して動作するのですか?それはどういう仕組みですか?はい、とても良い質問です。ええ、いいえ、silent に何かを送る必要はありません。というのも、結局のところ、silent は、ええと、あなたの会社内、またはあなたのプライベートインフラ内で動作するからです。ですので、silent は、いわば、昔ながらのソフトウェアを箱入りで購入して、インストールした瞬間にそれがあなたのものになる、というように考えていただけます。つまり、あなたのインフラ上で動いているのです。
実際、私たちは、ええと、あなたのデータを扱いたくありません。なぜなら、それは私たちが提供するプライバシーレベルの一部だからです。ええと、あなたが、自分のデータを100%管理する人であり、そして、それは常に、ええと、あなたのインフラ内にあります。いいですね。ありがとうございます。もう1つ質問があります。
つまり、open ai の場合、open AI embedding を使っている、ということですね。では、それはデータが open AI に送られて、そこで何らかの形で保存されるという意味ですか?ええと、この質問がどの部分を指しているのか分かりませんが、silent を指しているのであれば、まったく違います。私たちはサードパーティを一切使いません。ええと、私たちは、でももし、はい、あなたですね、はい、それは silent ではありません。ですので、例えば、この、またはこれらの、ええと、セットアップの場合、いいえ、open ai には行きません。
Open AI はまったく必要ありません。ええと、embedding models を適用するために、ええと、すべての、すべての、ええと、例えばローカル実行では、すべてがあなたのマシン内にあります。ですので、これをインターネットから切断しても動作します。なぜなら embedding model はあなたのラップトップ上で動いているからです。ですので同じ考え方です。ええと、実際、私はこういう振り返りをするのが好きなのですが、private GPT は、chat GPT のようなアプリケーションのすべてのインフラを、完全にプライベートに、インターネット接続すらなしで、あなたのラップトップ上で実行できた最初のプロジェクトでした。Silent は同じことを、ええと、企業レベルで行います。
ですので、サードパーティはまったく必要ありません。ええと、もし何かが必要だとすれば、それはオープンソースのこれらのモデルをダウンロードすることですが、それはダウンロードして、サードパーティに依存せずに使用できるものです。そして、はい、フォローアップの質問があります。つまり、組織内のどの会社でもローカルにセットアップできて、必要なのはインフラとサービスだけ、ということですよね?その通りです。はい。
はい。private GT と Silent の両方で、もちろん private GT はより基本的な製品で、その上に構築する開発者向けです。Asylum は、ええと、箱から出してすぐに使えるものです。いいですね。ありがとうございます。
それで実は、はは、私にも質問があります。ええと、一般的にマルチモーダルの場合はどのように動作するのでしょうか?ローカルで動作するのですか、それとも、どのように動くのでしょうか?つまり、その、その、その答えは、ええと、あなたのインフラが十分に強力かどうか、ですね。はい。こういった種類のモデルを実行できるかどうかです。答えがイエスなら、ええと、private GPT は動作します。うんうん。もちろん、この種の、ええと、画像のアップロードや、モデルが、ええと、返してくる画像を理解することをサポートするために、インターフェース、つまりユーザーインターフェースを変更するのはあなた次第です。そして silent についても同じです。ええと、実際に silent で私たちが行っているのは、ええと、やり取りするクライアントによって異なり、一部のクライアントは小さなモデルのままでいることを好みます。なぜなら、それはコストと効率のバランスが良いからです。
一部のクライアントは、より大きなモデルやマルチモデル、モデルを選ぶことを好みます。ですので、それはあなた次第です。結局のところ、完全に設定可能なので、私たちにとっては、ええと、どちらか一方に接続するだけで簡単です。わかりました。いいですね。
ありがとうございます。それから、もう一つ質問があります。private GPT がクラウドインフラ上にある場合、複数のユーザーが同時に使用して、それぞれ別々のチャットを持つことはできますか?それは本当に良い質問です。ええと、いいえ。ええと、標準のままの、ええと、private GPT を使う場合は、なぜなら、ええと、private GPT はユーザーやセッションについて、ええと、理解していないからです。これは、私たちが GPT の内部で、ええと、提供していないものです。なぜならこれは、あなたの、ええと、ユースケースの一部だからです。
それは、あなたが行う利用、ええと、あなたが行う、その利用に依存します。カバーしたいユースケースやシナリオによって異なります。private GBT では、ユーザーが必要な場合も、そうでない場合もあります。ええと、ですので、すべてのセッションとユーザーレイヤーを構築するのはあなた次第です。ええと、silo では確実に、silo には、ええと、すべてのユーザーレイヤーがあり、ロールがあり、権限があり、それを選択して誰が何にアクセスできるかを決定するための粒度があります。ええと、ですので、それは、private G を進化させ続けるために並行して行ってきた、ある種の、その取り組みです。ちなみに、もし、ええと、いくつかの private G を並列に配置すれば、ええと、それを行うこともできます。
ええと、それはあなた次第です。それらは実際には同じ推論サーバーを再利用できます。クライアント側の観点から、異なる private、ええと、を持つだけです。わかりました。それで、はい、誰かがドキュメントを確認しました。
ドキュメントには、RUG Pipeline が LAMA Index に基づいていると書かれています。なぜ LAMA Index を選んだのですか?そして同じことは L Chain でもできますか?はい、これは本当に良い質問です。ええと、正直に言うと、ええと、私たちは LAMA Index から始めました。もし、もし見に行くなら、すみません、launching からでした。ええと、当時は Harrison と非常に、ええと、連絡を取り合っていました。ええと、しかしある時点で LAMA Index に移行することに決めました。なぜなら、ええと、PRI と Silent でカバーしたかった、ええと、ユースケースの種類は、LAMA Index でカバーする方が非常に簡単だったからです。
それ以来、その方向を維持することにしました。実際、私たちは、ええと、LAMA Index のチームと、ええと、かなり協力しています。ですので、ええと、それは私たちが1年前、または1年未満前に決めたことです。でも、ええと、はい、私たちは Laing から始めて、LAMA Index に移行しました。ええと、それはカバーしたかったユースケースのための設計上の判断でした。Lab Index です。
当時、ええと、今日の話ではなく、当時は、私たちがカバーしたかったユースケースに対して、ええと、より良い、ええと、サポートを提供してくれていました。それが決定の理由でした。特定のものではありません。おお、ありがとうございます。それで、これに関連して追加の質問があります。
Lama agent を試してみたことはありますか?まだありません。わかりました。ええと、これは実際に私たちが、ええと、lama の、ええと、workflows についても議論していたことです。ええと、これは私たちが、ええと、すでに内部で、ええと、使用している別のものですが、今のところ agent は使っていません。わかりました。
でも、それは私たちの law に入っているものです。わかりました。いいですね。いいですね。わかりました。
他に質問はありますか?なければ、私からフォローアップの質問が一つあります。つまり、あなた方は5万以上のスターを持っていますよね。Mm-Hmm。人々はどのように貢献するのでしょうか?もし望むなら、private GPTにどのように貢献できますか?つまり、私たちはロードマップをGitHubページで公開しています。ですから、そこに行って、私たちが持っているさまざまなプロジェクトラインを選ぶこともできますし、新しいものを提案することもできます。私たちはかなり柔軟です。
ええ、言えるのは、前四半期に、私たちはチーム外の人々からのプルリクエストを十数件以上マージしました。一方で、依然として私たちが主要なコントリビューターでもあります。まあ、それは普通のことだと思います。でも基本的に私たちは毎日協力しています。例えば昨日、私はフロントエンドエンジニアと話しました。彼は昨日、private GPTをデプロイするためにremixをどう使うかについて質問していた人をサポートしていました。
そして彼は、その人がそこから始められるように完全なPOCを提供していました。なので私たちはかなりつながっています。ですから、GitHubページに行って、そこにある何かを選ぶか、Discordチャンネルに行って、「Hey、こういうアイデアがあります。これに取り組みたいです」と言うか、どちらかだと思います。そうすれば私たちはアドバイスできますし、あるいは「Hey、それはすでに取り組んでいます」と伝えるかもしれません。
一緒に協力して、そして一緒にやりましょう。実際、私たちにはかなり健全なものがあります。まさにそれがBUとやったことです。BUが私たちのところに来て、「Hey、private GPTにBUを統合したいです」と言い、私たちは1週間かけて一緒に協力しました。そしてその統合はかなりスムーズでした。はい。いいですね。
そして、フォローアップの質問です。数か月前に誰かがtrackについて話していて、private dtで構築したいと言っていました。そしてどうやら、あなた方は本当に良い情報とドキュメントを持っているようなので、その点は称賛します。本当に大変です。ありがとうございます。
オープンソースの世界で働いている者として言うと、良いドキュメントを持つのはとても難しいです。なので、その多大な努力に感謝します。はい。それに投資しました。物事を最新に保つのは難しいです。はい。
いいですね。皆さんから他に質問はありますか?なければ締めたいと思います、そして、はい。わかりました。では、私たちは、ええと、私は現在学生で、コーディングのプロではありませんが、AIの考え方、特にローカルで動作するAIに興味があります。では、初心者としてその場面に答えるにはIとprivate GPTのどちらが良いのでしょうか?ええ、つまり、ここでの明らかな理由としては、private GPTがあなたの、ええ、あなたの、ええ、あなたの選択であるべきです。
なぜなら、Stefanが言っていたように、private GTはオープンソースプロジェクトであり、さまざまなセットアップを試すためのドキュメントがすべてそこにあります。今日私が説明したもの、ドキュメントで見つけられるもの、間違いなくそれを選んでください。つまり、私たちには多くの学生や研究者が、自分たちのプロジェクトのためにprivate equityを活用しています。なので、これは試してみるには本当に良いプロジェクトです。なぜなら、そこについてはあまり詳しく入りませんでしたが、ドキュメントを見るとわかります。私たちはこれらを開発する際に、多くのソフトウェアエンジニアリングの考え方を取り入れています。
そのため、カスタマイズできるコンポーネントがたくさんあります。なので設定は本当に簡単です。実際に何もコーディングしなくても、かなりきれいな方法で物事を設定するためのさまざまなYammerファイルがあります。いいですね。どうもありがとうございます。
ええ、ではここで締めたいと思います。録画は共有されます。また、スライドも録画と一緒に共有されます。なので心配しないでください。皆さん、すべて手に入ります。Daniel、素晴らしいプレゼンテーションを改めてありがとうございました。
どういたしまして。本当に素晴らしく、とても興味深かったです。どういたしまして。参加してくださった皆さん、ありがとうございました。また次回お会いしましょう。皆さん、ありがとうございました。
Bye-Bye.