Intégrations
PrivateGPT and Zilliz Cloud Integration

PrivateGPT and Zilliz Cloud Integration

PrivateGPT and Zilliz Cloud integrate to build secure, private RAG applications, combining PrivateGPT's offline AI framework for document Q&A with 100% privacy alongside Zilliz Cloud's high-performance vector database for scalable embedding storage and similarity search.

Utilisez cette intégration gratuitement

Qu’est-ce que PrivateGPT
PrivateGPT est un projet d’IA prêt pour la production qui permet aux utilisateurs de poser des questions sur leurs documents à l’aide de grands modèles de langage sans connexion Internet, tout en garantissant une confidentialité à 100 %. Il offre une API divisée en blocs de haut niveau et de bas niveau, un client d’interface utilisateur Gradio, ainsi que des outils utiles comme des scripts de téléchargement de modèles en masse et des scripts d’ingestion. Conceptuellement, PrivateGPT encapsule un pipeline RAG et expose ses primitives, étant prêt à l’emploi et fournissant une implémentation complète de l’API et du pipeline RAG.

En s’intégrant à Zilliz Cloud (Milvus entièrement géré), PrivateGPT accède à une base de données vectorielle entièrement gérée et hautes performances, conçue pour le stockage de vecteurs à l’échelle du milliard et des recherches rapides par similarité, offrant aux organisations un cadre sécurisé et évolutif pour stocker et récupérer des embeddings dans des environnements privés pour des cas d’utilisation tels que les chatbots privés, l’analyse de documents et les systèmes de recommandation.
Avantages de l’intégration PrivateGPT + Zilliz Cloud
- Confidentialité des données à 100 % avec stockage évolutif : PrivateGPT garantit une confidentialité complète des données en fonctionnant sans connexion Internet, tandis que Zilliz Cloud fournit un stockage vectoriel de niveau entreprise pouvant être déployé dans des environnements privés et contrôlés.
- Pipeline RAG prêt pour la production : PrivateGPT fournit une implémentation complète de pipeline RAG prête à l’emploi, Zilliz Cloud prenant en charge la couche de stockage et de récupération vectoriels haute performance pour une recherche de similarité évolutive.
- Configuration flexible des modèles : L’intégration prend en charge des LLM et des modèles d’embedding personnalisables via Ollama, tandis que Zilliz Cloud stocke et indexe efficacement les embeddings générés, quel que soit le choix du modèle.
- Déploiement simple : La configuration nécessite un minimum de paramétrage — il suffit d’installer le module Milvus, de mettre à jour les paramètres du vector store, et PrivateGPT est prêt à être utilisé avec Zilliz Cloud comme backend.
Fonctionnement de l’intégration
PrivateGPT sert de framework d’application, fournissant le pipeline RAG, l’API et l’interface utilisateur Gradio pour l’ingestion de documents et les questions-réponses. Il gère le traitement des documents, la génération d’embeddings via Ollama, l’orchestration des requêtes et la génération de réponses basée sur un LLM — tout en garantissant une confidentialité totale des données.

Zilliz Cloud sert de backend de base de données vectorielle, stockant et indexant les embeddings de documents générés par PrivateGPT pour une recherche de similarité rapide. Il permet une récupération efficace du contexte documentaire pertinent lorsque les utilisateurs posent des questions, en prenant en charge le stockage vectoriel à l’échelle du milliard avec une recherche à faible latence.

Ensemble, PrivateGPT et Zilliz Cloud créent une solution de questions-réponses sur documents sécurisée et prête pour la production : les documents sont ingérés et transformés en embeddings via le pipeline de PrivateGPT, puis stockés dans Zilliz Cloud. Lorsque les utilisateurs posent des questions, PrivateGPT récupère le contexte pertinent depuis le magasin vectoriel de Zilliz Cloud et génère des réponses privées, enrichies par le contexte, à l’aide du LLM local — sans qu’aucune donnée ne quitte l’environnement de l’organisation.
Guide étape par étape
1. Cloner le dépôt PrivateGPT

Clonez le dépôt et accédez-y :
```
$ git clone https://github.com/zylon-ai/private-gpt
$ cd private-gpt
```
2. Installer Poetry

Installez Poetry pour la gestion des dépendances. Suivez les instructions sur le site officiel de Poetry pour l’installer.

3. Installer les modules disponibles

Exécutez la commande suivante pour utiliser Poetry afin d’installer les dépendances de modules requises :
```
$ poetry install --extras "llms-ollama embeddings-ollama vector-stores-milvus ui"
```
4. Démarrer le service Ollama

Rendez-vous sur ollama.ai et suivez les instructions pour installer Ollama sur votre machine. Après l’installation, assurez-vous que l’application de bureau Ollama est fermée.

Démarrez le service Ollama (il démarrera un serveur d’inférence local, servant à la fois le LLM et les Embeddings) :
```
$ ollama serve
```
Installez les modèles à utiliser. Le fichier settings-ollama.yaml par défaut est configuré pour utiliser le LLM llama3.1 8b (~4 Go) et les Embeddings nomic-embed-text (~275 Mo) :
```
$ ollama pull llama3.1
$ ollama pull nomic-embed-text
```
5. Modifier les paramètres de Milvus

Dans le fichier settings-ollama.yaml, définissez le vectorstore sur Milvus :
```
vectorstore:
  database: milvus
```
Vous pouvez également ajouter une configuration Milvus personnalisée pour spécifier vos paramètres :
```
milvus:
  uri: http://localhost:19530
  collection_name: my_collection
```
Les options de configuration disponibles sont : uri — la valeur par défaut est définie sur un fichier local ; vous pouvez également configurer un serveur Milvus plus performant sur Docker ou Kubernetes, ou utiliser Zilliz Cloud en ajustant l’uri et le token sur le Public Endpoint et l’API Key dans Zilliz Cloud. token — à associer au serveur Milvus sur Docker/Kubernetes ou à la clé API Zilliz Cloud. collection_name — le nom de la collection, la valeur par défaut est "milvus_db". overwrite — écrase les données de la collection si elle existait, la valeur par défaut est True.

6. Démarrer PrivateGPT

Une fois tous les paramètres configurés, vous pouvez exécuter PrivateGPT avec une interface utilisateur Gradio :
```
PGPT_PROFILES=ollama make run
```
L’interface utilisateur sera disponible à l’adresse http://0.0.0.0:8001. Vous pouvez explorer l’interface utilisateur et poser des questions sur vos documents.
En savoir plus
- Utiliser Milvus dans PrivateGPT — Tutoriel officiel de Milvus pour utiliser Milvus dans PrivateGPT
- Sécuriser l’IA : stratégies avancées de confidentialité avec PrivateGPT et Milvus — Blog de Zilliz sur les stratégies de confidentialité avec PrivateGPT
- Que sont les LLM privés ? Exécuter des grands modèles de langage en privé — Tutoriel de Zilliz sur les LLM privés et PrivateGPT
- Dépôt GitHub PrivateGPT — Code source de PrivateGPT et ressources communautaires
- Documentation de PrivateGPT — Documentation officielle de PrivateGPT

PrivateGPT and Zilliz Cloud Integration

Qu’est-ce que PrivateGPT

Avantages de l’intégration PrivateGPT + Zilliz Cloud

Fonctionnement de l’intégration

Guide étape par étape

En savoir plus

Ressources connexes

Sécuriser l’IA : stratégies avancées de confidentialité avec PrivateGPT et Milvus

Que sont les LLM privés ? Exécuter des grands modèles de langage en privé

Premiers pas avec une connexion Milvus