FastGPT and Zilliz Cloud Integration
FastGPT and Zilliz Cloud integrate to build powerful knowledge-based question-answering systems, combining FastGPT's LLM-powered platform with visual workflow orchestration and Zilliz Cloud's scalable vector database for fast and accurate RAG retrieval.
Utiliser cette intégration gratuitementQu’est-ce que FastGPT
FastGPT est un système de questions-réponses basé sur les connaissances, construit sur de grands modèles de langage (LLM), offrant des capacités prêtes à l’emploi pour le traitement des données et l’invocation de modèles. Il permet l’orchestration de workflows grâce à la visualisation Flow, facilitant les scénarios complexes de questions-réponses. Grâce à ses fonctionnalités prêtes à l’emploi, les développeurs peuvent rapidement créer et déployer des systèmes de QA sophistiqués dans divers domaines de connaissances.
En s’intégrant à Zilliz Cloud (Milvus entièrement géré), FastGPT bénéficie d’un accès à une base de données vectorielle entièrement gérée et évolutive pour stocker et récupérer les embeddings de connaissances, permettant une récupération plus rapide des informations pertinentes, une précision accrue dans les réponses aux requêtes et la capacité de gérer efficacement des bases de connaissances à grande échelle.
Avantages de l’intégration FastGPT + Zilliz Cloud
- Système de QA prêt à l’emploi avec stockage évolutif : FastGPT fournit des capacités de traitement des données et d’invocation de modèles prêtes à l’emploi, tandis que Zilliz Cloud assure un stockage et une récupération efficaces des vecteurs à mesure que votre base de connaissances se développe.
- Orchestration visuelle des workflows : La visualisation Flow de FastGPT vous permet de concevoir visuellement des workflows complexes de questions-réponses, soutenus par la recherche de similarité haute performance de Zilliz Cloud pour l’étape de récupération.
- Déploiement rapide basé sur Docker : L’intégration prend en charge Milvus et Zilliz Cloud via Docker Compose, permettant aux équipes de déployer rapidement un système de QA complet avec une configuration minimale.
- Précision de récupération améliorée : La recherche de similarité vectorielle de Zilliz Cloud garantit que les connaissances les plus pertinentes sont récupérées pour enrichir les réponses des LLM, réduisant les hallucinations et améliorant la qualité des réponses.
Fonctionnement de l’intégration
FastGPT sert de couche applicative, fournissant la plateforme de questions-réponses basée sur les LLM avec des capacités d’orchestration visuelle des workflows, de traitement des données et d’invocation de modèles. Il traite les requêtes des utilisateurs, orchestre le pipeline RAG via son interface Flow et génère des réponses à partir du contexte récupéré.
Zilliz Cloud sert de couche de base de données vectorielle, stockant et indexant les embeddings de la base de connaissances pour une recherche rapide par similarité. Lorsqu’une requête arrive, Zilliz Cloud récupère les documents les plus pertinents afin de fournir du contexte au modèle de langage de FastGPT pour générer des réponses précises.
Ensemble, FastGPT et Zilliz Cloud créent une solution complète de questions-réponses basée sur les connaissances : les documents sont traités et intégrés sous forme d’embeddings dans Zilliz Cloud, et lorsque les utilisateurs posent des questions, FastGPT orchestre la récupération du contexte pertinent via la recherche vectorielle de Zilliz Cloud, puis génère des réponses éclairées à l’aide du LLM — le tout déployable via Docker Compose avec une configuration minimale.
Guide étape par étape
1. Télécharger docker-compose.yml
Assurez-vous d’avoir déjà installé Docker Compose. Exécutez les commandes ci-dessous pour télécharger les fichiers de configuration.
$ mkdir fastgpt $ cd fastgpt $ curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json # version milvus $ curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-milvus.yml # version zilliz # curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-zilliz.ymlSi vous utilisez la version Zilliz, ajustez les paramètres de lien
MILVUS_ADDRESSetMILVUS_TOKENdans le fichier docker-compose.yml, qui correspondent au Public Endpoint et à l’API Key dans Zilliz Cloud.2. Lancer le conteneur
Exécutez dans le même répertoire que docker-compose.yml. Assurez-vous que la version de docker-compose est idéalement supérieure à 2.17, car certaines commandes d’automatisation pourraient sinon ne pas fonctionner.
# Lancer le conteneur $ docker compose up -d # Attendre 10 s, OneAPI doit généralement redémarrer plusieurs fois pour se connecter initialement à Mysql $ sleep 10 # Redémarrer oneapi $ docker restart oneapi3. Accéder à OneAPI pour ajouter des modèles
OneAPI est accessible à
ip:3001. Le nom d’utilisateur par défaut est root, et le mot de passe est 123456. Vous pouvez modifier le mot de passe après vous être connecté. En prenant le modèle d’OpenAI comme exemple, cliquez sur l’onglet "Channel", puis sélectionnez votre modèle de chat et votre modèle d’embedding sous "Models". Saisissez votre clé API OpenAI dans la section "Secrets".4. Définir les jetons
Cliquez sur l’onglet "Tokens". Par défaut, il existe un jeton
Initial Root Token. Vous pouvez également créer un nouveau jeton et définir vous-même un quota. Cliquez sur "Copy" sur votre jeton, en vous assurant que la valeur de ce jeton correspond à la valeurCHAT_API_KEYdéfinie dans le fichier docker-compose.yml.5. Accéder à FastGPT
FastGPT est accessible directement à
ip:3000(faites attention au pare-feu). Le nom d’utilisateur de connexion est root, avec le mot de passe défini surDEFAULT_ROOT_PSWdans la variable d’environnement docker-compose.yml. Si vous avez besoin d’un accès par nom de domaine, vous devrez installer et configurer Nginx vous-même.6. Arrêter le conteneur
Exécutez la commande suivante pour arrêter le conteneur.
$ docker compose downEn savoir plus
- Déployer FastGPT avec Milvus — Tutoriel officiel de Milvus pour déployer FastGPT
- Dépôt GitHub de FastGPT — Code source de FastGPT et ressources communautaires
- Créer des applications d’IA avec Milvus : tutoriels et notebooks — Collection Zilliz de tutoriels et notebooks Milvus
- Améliorer ChatGPT avec Milvus : alimenter l’IA avec une mémoire à long terme — Tutoriel Zilliz sur l’amélioration des LLM avec le stockage vectoriel
- Documentation FastGPT — Documentation officielle de FastGPT