DocsGPT and Zilliz Cloud Integration

DocsGPT è una soluzione open-source che consente agli sviluppatori di porre domande sulla documentazione di progetto in linguaggio naturale e ottenere risposte accurate basate su GPT. Invece di cercare manualmente nella documentazione, gli utenti formulano query in inglese semplice e ricevono risposte dirette basate sul materiale sorgente effettivo. DocsGPT è progettato per integrarsi nei progetti esistenti con una configurazione minima: gestisce l’ingestione dei documenti, l’embedding, il recupero e la generazione delle risposte in un’unica applicazione Dockerizzata.

Integrando Zilliz Cloud (Milvus completamente gestito) con DocsGPT, puoi archiviare e recuperare embedding dei documenti su larga scala, mantenendo la ricerca veloce e accurata man mano che la tua documentazione cresce, senza dover gestire personalmente alcuna infrastruttura di database vettoriale.

• Risposte basate sulla tua documentazione effettiva. DocsGPT recupera da Zilliz Cloud i blocchi di documenti più pertinenti prima di generare una risposta, mantenendo le risposte legate ai tuoi contenuti anziché alle conoscenze pregresse del modello.
• Scalabilità del recupero senza oneri operativi. Zilliz Cloud gestisce indicizzazione, replica e servizio su larga scala. Ti connetti con due variabili d’ambiente ed eviti di eseguire un tuo cluster di database vettoriale.
• Configurazione minima per cambiare vector store. Puntare DocsGPT a Milvus richiede solo tre modifiche alle variabili d’ambiente in docker-compose.yaml — nessun codice applicativo da modificare.
• Supporta distribuzioni sia gestite sia self-hosted. Usa Zilliz Cloud per una configurazione completamente gestita, oppure punta DocsGPT a un server Milvus self-hosted se il tuo ambiente lo richiede.
• Funziona naturalmente con il recupero basato su LangChain. DocsGPT utilizza langchain-milvus internamente, lo stesso connettore usato nelle integrazioni LangChain + Zilliz Cloud, quindi la pipeline di recupero è collaudata.

DocsGPT acquisisce la documentazione del tuo progetto, la suddivide in blocchi e converte ogni blocco in un embedding vettoriale utilizzando modelli GPT. Quando un utente pone una domanda, DocsGPT incorpora la query e recupera i blocchi più pertinenti dal vector store prima di generare una risposta in linguaggio naturale. La qualità del recupero determina la qualità della risposta: il database vettoriale è ciò che rende possibile tutto questo su una scala significativa.

Zilliz Cloud, la versione completamente gestita di Milvus, fornisce il livello di database vettoriale per archiviare, indicizzare e recuperare embedding su larga scala. DocsGPT vi si connette tramite un URI e un token API passati come variabili d’ambiente, quindi la stessa configurazione Docker Compose funziona per lo sviluppo locale e la produzione. Puoi saperne di più su come Milvus gestisce la ricerca vettoriale nella documentazione ufficiale.

Insieme, DocsGPT e Zilliz Cloud rendono semplice creare un sistema di Q&A sulla documentazione basato sui tuoi contenuti esistenti. Questa combinazione aiuta gli sviluppatori a creare applicazioni AI in grado di rispondere accuratamente alle domande su grandi set di documentazione, scalare il recupero senza gestire l’infrastruttura vettoriale e mantenere le risposte ancorate al materiale sorgente invece di generare risposte non supportate.

1. Clona il repository

Inizia clonando il repository DocsGPT sulla tua macchina locale. Il progetto include una configurazione Docker Compose che gestisce tutta l’orchestrazione dei servizi, quindi Docker è l’unico prerequisito oltre a Git. Una volta clonato, accedi alla directory del progetto prima di eseguire qualsiasi altro comando. (Milvus)

git clone https://github.com/arc53/DocsGPT.git
cd DocsGPT

2. Aggiungi la dipendenza Milvus

Il livello applicativo di DocsGPT utilizza langchain-milvus per comunicare con Milvus. Aggiungerlo al requirements.txt nella cartella application assicura che venga installato quando l’immagine Docker viene creata — senza questo passaggio, il backend non riuscirà a connettersi al vector store all’avvio. (Milvus)

echo "\nlangchain-milvus==0.1.6" >> ./application/requirements.txt

3. Configura le variabili d’ambiente

DocsGPT legge la configurazione del suo vector store dalle variabili d’ambiente all’avvio. Sia il servizio backend sia il servizio worker necessitano delle stesse tre variabili — il worker gestisce autonomamente i job di embedding in background, quindi ha bisogno dei propri dettagli di connessione. Apri docker-compose.yaml e aggiungi quanto segue a entrambe le definizioni dei servizi. (Milvus)

  backend:
    build: ./application
    environment:
      - VECTOR_STORE=milvus
      - MILVUS_URI=...
      - MILVUS_TOKEN=...

  worker:
    build: ./application
    command: celery -A application.app.celery worker -l INFO -B
    environment:
      - VECTOR_STORE=milvus
      - MILVUS_URI=...
      - MILVUS_TOKEN=...

Per MILVUS_URI e MILVUS_TOKEN, hai due opzioni:

• Zilliz Cloud (consigliato): Registrati per un account gratuito su cloud.zilliz.com. Dopo aver creato un cluster, il tuo MILVUS_URI (Public Endpoint) e MILVUS_TOKEN (API key) sono disponibili nella pagina dei dettagli del cluster.
• Milvus self-hosted: Segui la guida ufficiale all’installazione di Milvus per eseguire un server Milvus. Il tuo MILVUS_URI sarà nel formato http://<your_server_ip>:19530 e MILVUS_TOKEN nel formato <your_username>:<your_password>.

4. Avvia i servizi

Con la configurazione pronta, esegui lo script di setup per creare le immagini e avviare tutti i servizi. La prima esecuzione richiederà alcuni minuti mentre Docker scarica e crea le immagini. Una volta in esecuzione, vai all’interfaccia utente locale per caricare la documentazione e iniziare a fare domande. (Milvus)

./setup.sh

Apri http://localhost:5173/ nel tuo browser. Puoi caricare la documentazione del tuo progetto e interrogarla direttamente tramite l’interfaccia utente.

Per arrestare tutti i servizi in esecuzione:

docker compose down

• Generazione aumentata dal recupero con Milvus e LangChain
• Che cos'è un database vettoriale?
• Crea un chatbot RAG con Milvus e OpenAI