DeepSeek-VL2: modelli linguistico-visivi Mixture-of-Experts per una comprensione multimodale avanzata
Il monopolio dell'IA sta cambiando. DeepSeek-VL2 offre un'intelligenza visione-linguaggio a livello di GPT-4o a una frazione del costo, dimostrando che i modelli aperti non stanno solo recuperando terreno. Stanno aprendo la strada. Questo potrebbe segnare la fine dell'IA costosa e chiusa?
I Large Vision-Language Models (VLM) sono emersi come una forza trasformativa nell'Intelligenza Artificiale. Estendono le straordinarie capacità dei modelli linguistici di grandi dimensioni (LLM) per elaborare informazioni visive e testuali senza soluzione di continuità. Affrontano attività come rispondere a domande visive e l'analisi di documenti. Tuttavia, i VLM affrontano la sfida degli elevati costi computazionali. Hanno anche difficoltà con immagini ad alta risoluzione e rapporti d'aspetto variabili, in gran parte a causa della scalabilità computazionale quadratica tipicamente associata all'aumento delle risoluzioni delle immagini.
DeepSeek-VL2, una serie avanzata di grandi modelli Vision-Language Mixture-of-Experts (MoE), affronta questi problemi. Introduce una strategia dinamica di codifica visiva ad alta risoluzione e un'architettura ottimizzata del modello linguistico che migliora la comprensione visiva e aumenta significativamente l'efficienza di addestramento e inferenza. Un altro progresso chiave è la pipeline perfezionata di costruzione dei dati visione-linguaggio, che potenzia le prestazioni complessive ed estende la capacità del modello in nuove aree, come il grounding visivo preciso.
DeepSeek-VL2 dimostra capacità superiori in varie attività, tra cui, ma non solo, risposta a domande visive, riconoscimento ottico dei caratteri, comprensione di documenti/tabelle/grafici e grounding visivo. Valutato su benchmark multimodali comunemente utilizzati,
DeepSeek-VL2 raggiunge prestazioni simili o migliori rispetto al modello allo stato dell'arte, con meno parametri attivati. In particolare, su OCRBench, ottiene un punteggio di 834, superando GPT-4o 736. Raggiunge inoltre il 93,3% su DocVQA per attività di risposta a domande visive. La valutazione qualitativa evidenzia la sua capacità di ragionare su più immagini e generare narrazioni visive coerenti.
Prestazioni medie vs. parametri attivati tra diversi modelli open-source | Fonte
Questo blog discute i progressi tecnici di DeepSeek-VL2 nella visione e nel linguaggio. Analizziamo in dettaglio i risultati dei benchmark e i miglioramenti dell'efficienza, e passiamo in rassegna il suo ruolo nella democratizzazione dell'IA multimodale ad alte prestazioni.
DeepSeek-VL2: Architettura del modello principale
Al centro di DeepSeek-VL2 c'è un'architettura ben strutturata costruita per migliorare la comprensione multimodale. Combinando un framework Mixture-of-Experts (MoE) con una pipeline avanzata di elaborazione Vision-Language (VL), DeepSeek-VL2 integra in modo efficiente informazioni visive e testuali.
Panoramica dell'architettura di DeepSeek-VL2 | Fonte
Di seguito è riportata la spiegazione dei moduli principali di DeepSeek-VL2:
Encoder visivo
L'encoder visivo è progettato per estrarre in modo efficiente caratteristiche visive ad alta risoluzione. L'encoder visivo in DeepSeek-VL2 utilizza una strategia di suddivisione dinamica in tile progettata per l'elaborazione delle immagini ad alta risoluzione. L'approccio consiste nel suddividere un'alta risoluzione in tile per consentire l'elaborazione efficiente di diverse immagini ad alta risoluzione con rapporti d'aspetto variabili.
DeepSeek-VL2 utilizza l'encoder visivo SigLIP-SO400M-384. L'encoder visivo opera a una risoluzione di base di 384x384. Per supportare immagini ad alta risoluzione con vari rapporti d'aspetto, l'immagine viene prima ridimensionata e suddivisa in tile di 384x384 pixel. Definiamo un insieme di risoluzioni candidate CR:
CR = {(m .384, n .384) | mN, n N, 1m,n,mn9}
dove m:n rappresenta il rapporto d'aspetto.
Il padding necessario per ridimensionare ogni immagine di input per ciascun candidato viene calcolato, e viene selezionato il candidato con il padding minimo. Minimizzare il padding riduce il sovraccarico computazionale e garantisce che venga conservata una maggiore quantità di contenuto dell’immagine, migliorando l’efficienza di elaborazione. L’immagine ridimensionata viene suddivisa in mini tile locali di dimensioni 384 × 384 e in un tile thumbnail globale. L’encoder visivo SigLIP-SO400M-384 elabora tutti i tile ( 1+mini ), producendo 729 embedding visivi di 1152 dimensioni per tile.
Adattatore Visione-Linguaggio (VL)
Dopo l’estrazione delle caratteristiche visive, l’adattatore visione-linguaggio ristruttura e comprime i token per colmare il divario tra rappresentazioni visive e testuali. Questo passaggio consente un’integrazione fluida dei dati visivi e testuali introducendo token speciali per codificare le relazioni spaziali.
Innanzitutto, un’operazione di pixel shuffle 2×2 riduce le dimensioni spaziali dei token di ciascun tile da 27×27 a 14×14=196 token. L’adattatore inserisce quindi token speciali per codificare le relazioni spaziali tra i tile.
Thumbnail globale: Per il tile thumbnail globale, 14 token
<tile_newline>vengono aggiunti alla fine di ogni riga, risultando in un numero totale di 14 righe × 15 token = 210 token.Tile locali: Per gli mn tile locali disposti in una griglia (mi .14, ni .14), il sistema aggiunge mi .14 token
<tile_newline>per marcare la fine di ogni riga di tutti i tile locali.Separatore: Un token
<view_separator>viene aggiunto tra i tile globali e locali.
Questo output strutturato garantisce che il modello comprenda il layout spaziale dell’immagine suddivisa in tile. La sequenza finale di token visivi 210+1+ mi⋅14 × (ni⋅14 +1) viene proiettata nello spazio di embedding dell’LLM tramite un MLP a due strati.
Illustrazione della strategia di tiling dinamico in DeepSeek-VL2 | Fonte
Modello linguistico di grandi dimensioni DeepSeekMoE
Il backbone linguistico di DeepSeek-VL2 è costruito su un modello Mixture-of-Experts (MoE) potenziato con Multi-head Latent Attention (MLA). MLA aumenta l’efficienza dell’inferenza comprimendo la cache Key-Value in un vettore latente, riducendo il sovraccarico di memoria e aumentando la capacità di throughput. Ciò consente a DeepSeek-VL2 di gestire sequenze a contesto lungo in modo più efficace mantenendo al contempo l’efficienza computazionale.
L’architettura MoE consente un’inferenza efficiente tramite computazione sparsa, in cui durante l’inferenza vengono selezionati solo i primi sei esperti. Questo riduce significativamente i costi computazionali preservando al contempo le prestazioni. Durante l’addestramento, viene introdotto un termine di bias globale per ciascun esperto per migliorare il bilanciamento del carico e ottimizzare l’efficienza di apprendimento.
DeepSeek-VL2 è disponibile in tre varianti di modello, ciascuna con un diverso numero di parametri attivati ed esperti:
DeepSeek-VL2-Tiny: 1,0B parametri, 64 esperti
DeepSeek-VL2-Small: 2,8B parametri, 64 esperti
DeepSeek-VL2: 4,5B parametri, 72 esperti
Metodologia di addestramento
DeepSeek-VL2 utilizza una pipeline di addestramento in tre fasi che bilancia la comprensione multimodale con l’efficienza computazionale. Il processo complessivo è suddiviso in tre fasi:
Allineamento visione-linguaggio
Pre-addestramento visione-linguaggio
Fine-tuning supervisionato
Fasi di alto livello nella pipeline di addestramento
Prima di discutere la pipeline di addestramento, analizzeremo la costruzione dei dati e i dataset utilizzati nelle diverse fasi di addestramento.
Costruzione dei dati
Per DeepSeek-VL2 è stato costruito un dataset Visione-Linguaggio completo da fonti diverse. In questa sezione descriveremo i dati utilizzati nelle diverse fasi della pipeline di addestramento.
Dati di allineamento visione-linguaggio
Nella fase di allineamento VL, l’attenzione è rivolta a colmare il divario tra le caratteristiche visive e gli embedding testuali. Il dataset ShareGPT4V viene utilizzato per questa fase iniziale. Questo dataset comprende circa 1,2 milioni di campioni di didascalie e conversazioni.
Dati di pre-addestramento visione-linguaggio
I dati di pre-addestramento combinano dati visione-linguaggio (VL) e dati solo testuali per bilanciare le capacità VL e le prestazioni solo testuali. In questa fase, circa il 70% dei dati proviene da fonti visione-linguaggio, mentre il restante 30% è costituito da dati solo testuali provenienti dal corpus di pre-addestramento dell'LLM.
Le categorie di dati VL utilizzate sono descritte qui:
Dati immagine-testo intercalati: Dataset open-source come WIT, WikiHow e campioni da OBELICS forniscono coppie immagine-testo variegate per conoscenze generali del mondo reale.
Dati di didascalizzazione delle immagini: Gli esperimenti iniziali con dataset open-source hanno mostrato una qualità incoerente (ad es., testo non corrispondente, allucinazioni). È stata utilizzata una pipeline completa di didascalizzazione delle immagini che considera suggerimenti OCR, metadati e didascalie originali come prompt per rididascalizzare le immagini con un modello interno. Questi dati rididascalizzati e curati sono stati utilizzati nell'addestramento.
Dati di riconoscimento ottico dei caratteri (OCR): Dataset pubblici come LaTeX OCR e 12M RenderedText sono stati combinati con ampi dati OCR interni che coprono diversi tipi di documenti.
Dati di risposta a domande visive (QA): I dati di QA visiva consistono in quattro categorie: VQA generale (da DeepSeek-VL), comprensione dei documenti (PubTabNet, FinTabNet, Docmatix), generazione web-to-code/plot-to-Python (Websight e notebook Jupyter, rifiniti con DeepSeek V2.5) e QA con prompt visivi (sovrapponendo indicatori come frecce/riquadri sulle immagini per creare coppie QA mirate).
- Dati di grounding visivo: È stato costruito un dataset per il grounding visivo. Per le annotazioni di rilevamento degli oggetti di ciascuna immagine, i dati sono stati strutturati come segue utilizzando token speciali <|ref|>, <|/ref|>, <|det|>, <|/det|>:
Prompt: Individua <|ref|>
<|/ref|> nell'immagine fornita. Risposta: <|ref|>
<|/ref|><|det|>[[x1, y1, x2, y2],...]<|/det|>
- Dati di conversazione grounded: Dataset conversazionale in cui prompt e risposte includono token speciali di grounding per associare il dialogo a regioni specifiche dell'immagine.
Dati di fine-tuning supervisionato
La fase di Fine-Tuning supervisionato perfeziona le prestazioni del modello nel seguire istruzioni e nella conversazione. Gli aspetti coperti includono:
Risposta a domande visive generali: I dataset pubblici di QA visiva spesso soffrono di risposte brevi, OCR scadente e allucinazioni. È stato generato un nuovo dataset rigenerando le risposte utilizzando le domande originali, le immagini e i dati OCR.
OCR e comprensione dei documenti: Sono stati utilizzati dataset OCR esistenti ripuliti rimuovendo campioni con scarsa qualità OCR.
Comprensione di tabelle e grafici: I dati QA basati su tabelle sono stati migliorati rigenerando le risposte sulla base delle domande originali per creare dati di alta qualità.
Ragionamento, logica e matematica: Per migliorare la chiarezza, i dataset pubblici di ragionamento sono arricchiti con processi dettagliati e formati di risposta standardizzati.
Domande da manuali e accademiche: Raccolte interne di manuali di livello universitario focalizzate su contenuti accademici in più discipline.
Generazione web-to-code e plot-to-Python: I dataset interni sono stati ampliati con dataset open-source dopo la generazione delle risposte per migliorare la qualità.
Grounding visivo: I dati con annotazioni di rilevamento degli oggetti guidano il modello a localizzare e descrivere gli oggetti con precisione.
Conversazione grounded: I dataset conversazionali incorporano token di grounding per collegare il dialogo alle regioni dell'immagine e migliorare l'interazione.
Dataset solo testuali: Vengono utilizzati anche dataset di instruction-tuning solo testuali per mantenere le capacità linguistiche del modello.
Pipeline di addestramento
Prima di iniziare l’addestramento, il processo è suddiviso in fasi definite. Questa struttura garantisce transizioni fluide tra allineamento, pre-addestramento e fine-tuning. Inizialmente, il codificatore visivo e l’adattatore MLP visione-linguaggio vengono addestrati mentre il modello linguistico rimane fisso. Successivamente, tutti i parametri del modello vengono sbloccati per un pre-addestramento esteso e, infine, il modello viene fine-tuned utilizzando dati supervisionati. La loss viene calcolata esclusivamente sui token testuali in ciascuna fase per dare priorità all’apprendimento del contesto visivo.
- Allineamento Visione-Linguaggio: La fase di Allineamento VL collega le caratteristiche visive con gli embedding testuali. L’addestramento utilizza il dataset ShareGPT4V, che consiste in circa 1,2 milioni di coppie immagine-testo. Durante questa fase, il modello linguistico rimane congelato. Vengono addestrati solo il codificatore visivo e l’adattatore, utilizzando un connettore MLP leggero per fondere caratteristiche visive e testuali. Questa fase adatta i codificatori a risoluzione fissa alla gestione di input dinamici ad alta risoluzione.
- Pre-addestramento Visione-Linguaggio: Nella fase di Pre-addestramento VL, tutti i parametri vengono sbloccati per l’ottimizzazione. Il mix di dati comprende il 70% di dati visione-linguaggio e il 30% di dati solo testuali. I dati VL includono coppie immagine-testo intercalate che coprono attività come OCR e analisi dei documenti. I dati solo testuali provengono dal corpus di pre-addestramento dell’LLM. L’addestramento utilizza circa 800 miliardi di token immagine-testo per costruire rappresentazioni congiunte per input visivi e testuali.
- Fine-Tuning Supervisionato: Durante il Fine-Tuning Supervisionato, le capacità conversazionali e di seguire istruzioni del modello vengono affinate. Questa fase utilizza coppie domanda-risposta curate da dataset pubblici e dati interni. I dati di dialogo multimodale sono combinati con dialoghi solo testuali da DeepSeek-V2, e i prompt di sistema/utente vengono mascherati in modo che la supervisione si applichi solo alle risposte e ai token speciali.
Iperparametri e Infrastruttura
La configurazione degli iperparametri per DeepSeek-VL2 è dettagliata nella tabella fornita. Durante l’addestramento, le diverse fasi utilizzano impostazioni personalizzate. Ad esempio, nella Fase 1 per DeepSeek-VL2-Tiny, il learning rate è impostato a 5,4×10⁻⁴, mentre nella Fase 3 scende a 3,0×10⁻⁵. Lo Step LR Scheduler divide il learning rate per √10 al 50% e al 75% degli step totali di addestramento. Un moltiplicatore fisso di 0,1 viene applicato al learning rate del codificatore visivo. Nelle fasi iniziali vengono utilizzati scheduler del learning rate coseno, con uno schedule costante nella fase finale. Ulteriori impostazioni includono un weight decay di 0,1, gradient clipping a 1,0 e l’ottimizzatore AdamW configurato con β₁ = 0,9 e β₂ = 0,95.
Iperparametri per l’addestramento di DeepSeek-VL2 | Fonte
L’addestramento viene eseguito sulla piattaforma HAI-LLM, un sistema leggero progettato per modelli di grandi dimensioni. La pipeline impiega una divisione fine-grained dei layer per il codificatore visivo per garantire il bilanciamento del carico tra GPU, il che aiuta a prevenire le bolle nella pipeline. Anche il bilanciamento del carico dei tile immagine viene eseguito tra i rank di data parallelism per gestire la variabilità introdotta dalla strategia di risoluzione dinamica.
Inoltre, vengono incorporate tecniche di tensor parallelism ed expert parallelism per massimizzare l’efficienza. Combinate con una meticolosa ottimizzazione degli iperparametri, queste scelte infrastrutturali consentono a DeepSeek-VL2 di elaborare efficacemente miliardi di token di addestramento mantenendo prestazioni multimodali robuste.
DeepSeek-VL2 è stato addestrato in 7/10/14 giorni utilizzando un cluster di 16/33/42 nodi, ciascuno dotato di 8 GPU NVIDIA A100.
Valutazione
Ora esaminiamo le prestazioni di DeepSeek-VL2 utilizzando benchmark standard e test qualitativi. Le sezioni seguenti delineano i risultati della valutazione e confrontano DeepSeek-VL2 con i modelli allo stato dell’arte.
Benchmark
DeepSeek-VL2 viene valutato su una serie di benchmark comunemente utilizzati. Questi includono DocVQA, ChartQA, InfoVQA, TextVQA, RealWorldQA, OCRBench, AI2D, MMMU, MMStar, MathVista, MME, MMBench (e MMBench-V1.1) e MMT-Bench. Inoltre, la capacità di grounding del modello viene testata sui benchmark RefCOCO, RefCOCO+ e RefCOCOg. Questi test coprono attività che vanno dalla comprensione dei documenti e dall’interpretazione dei grafici alla risoluzione di problemi del mondo reale, fornendo una misura completa delle prestazioni del modello.
Confronto con lo stato dell’arte
DeepSeek-VL2 è stato confrontato con diversi modelli vision-language all’avanguardia come LLaVA-OV, InternVL2, DeepSeek-VL, Qwen2-VL, Phi-3.5-Vision, Molmo, Pixtral, MM1.5 e Aria-MoE sui benchmark di comprensione multimodale. Nelle attività di grounding, il modello DeepSeek-VL2 supera altri come Grounding DINO, UNINEXT, ONE-PEACE, mPLUG-2, Florence-2, InternVL2, Shikra, TextHawk2, Ferret-v2 e MM1.5.
Confronto con modelli all’avanguardia su benchmark multimodali relativi a QA generale e matematica | Fonte
DeepSeek-VL2 raggiunge prestazioni simili o migliori con un numero inferiore di parametri attivati. Dimostra prestazioni competitive su diversi benchmark multimodali, eguagliando o superando modelli più grandi come Qwen2-VL-7B (8.3B) e InternVL2-8B (8.0B) in attività come MMBench (83.1 vs. 85.0) e MME (2,253 vs. 2,327).
Nonostante il suo numero inferiore di parametri attivati, si avvicina alle prestazioni di GPT-4o su MMStar (61.3 vs. 63.9) e supera la maggior parte dei modelli open-source in attività con forte componente OCR come AIDD (81.4). L’efficienza del modello, resa possibile dalla sua architettura MoE, bilancia efficacemente capacità e costo computazionale.
Confronto con modelli all’avanguardia su benchmark multimodali relativi all’OCR | Fonte
DeepSeek-VL2 raggiunge prestazioni competitive nelle attività OCR, eguagliando o superando modelli più grandi come Qwen2-VL-7B in TextVQA (84.2 vs. 84.3) e superando GPT-4o in DocVQA (93.3 vs. 92.8). I suoi punteggi in ChartQA (86.0) e InfoVQA (78.1) superano quelli della maggior parte dei pari open-source, mentre la sua efficienza colma il divario con modelli chiusi come Claude 3.5 Sonnet (OCRBench: 811 vs. 788). Questo dimostra solide capacità OCR nonostante la sua architettura compatta.
Studio qualitativo
Lo studio qualitativo dimostra le capacità di DeepSeek-VL2 in varie attività. Le aree chiave includono:
- Risposta a domande visive generali: Il modello fornisce risposte dettagliate, descrive accuratamente contenuti visivi densi e riconosce punti di riferimento sia in inglese sia in cinese. Possiede capacità molteplici, tra cui riconoscimento di punti di riferimento, composizione poetica basata su immagini, risposta a domande di cultura generale, comprensione di grafici, riconoscimento di testo e altro ancora.
La capacità di risposta a domande generali di DeepSeek-VL2 | Fonte
- Conversazione multi-immagine: Analizza efficacemente le associazioni e le differenze tra più immagini, consentendo al contempo un ragionamento semplice integrando il contenuto di diverse immagini. Ad esempio, può considerare come preparare un piatto basandosi sulle immagini di determinati ingredienti.
Capacità di conversazione multi-immagine di DeepSeek-VL2 | Fonte
- Narrazione visiva: DeepSeek-VL2 può generare narrazioni creative basate su una serie di immagini mantenendo contesto e coerenza. La sua narrazione riflette una comprensione della progressione temporale e delle transizioni di scena, aggiungendo profondità alle narrazioni generate.
Capacità di narrazione visiva di DeepSeek-VL2 | Fonte
- Visual Grounding: Il modello identifica e localizza con successo gli oggetti nelle immagini, generalizzandoli da scene naturali a scenari vari come meme e anime. Dimostra prestazioni solide anche quando gli oggetti sono parzialmente oscurati o presentati in condizioni difficili.
Capacità di visual grounding di DeepSeek-VL2 | Fonte
- Grounding Conversation: Con l’uso di token speciali di grounding <|grounding|>, il modello fa riferimento agli oggetti chiave con dettagli di posizione precisi, migliorando le sue capacità interattive. Le sue risposte ancorate facilitano applicazioni pratiche nei sistemi interattivi del mondo reale.
Conversazione ancorata con DeepSeek-VL2 | Fonte
Risultati principali
- Efficienza e scalabilità: DeepSeek-VL2 ottiene risultati competitivi con meno parametri attivati grazie al suo efficiente design MoE e all’approccio di tiling dinamico. Questo equilibrio tra prestazioni e uso delle risorse consente il deployment in ambienti con capacità computazionale limitata.
- Comprensione multimodale robusta: Il modello eccelle in attività che spaziano dall’OCR all’analisi dei documenti e al visual grounding. La sua capacità di integrare informazioni visive e testuali si traduce in un’elevata accuratezza in diverse applicazioni.
- Capacità migliorate di seguire istruzioni e conversazione: Il modello mostra notevoli miglioramenti nella generazione di risposte coerenti e consapevoli del contesto tramite fine-tuning supervisionato. Questo affinamento rafforza le sue prestazioni in contesti interattivi e conversazionali.
- Applicabilità nel mondo reale: Le solide prestazioni osservate sia nei benchmark quantitativi sia negli studi qualitativi indicano che DeepSeek-VL2 è adatto ad applicazioni pratiche, come l’elaborazione automatizzata dei documenti, gli assistenti virtuali e i sistemi interattivi nell’AI incarnata.
Potenziali direzioni di ricerca future
DeepSeek-VL2 è una versione migliorata dei modelli vision-language basati su MoE disponibile in tre dimensioni: 3B, 16B e 27B parametri totali, con 1.0B, 2.8B e 4.5B attivati. Questo design intelligente rende più efficienti sia il training sia l’inferenza. Consente al modello più piccolo di funzionare su una singola GPU con soli 10 GB di memoria, mentre le varianti più grandi richiedono 40 GB e 80 GB.
Una delle caratteristiche distintive è la sua strategia di tiling dinamico, che elabora abilmente immagini ad alta risoluzione con vari rapporti d’aspetto. Rendendo pubblici il codice e i modelli pre-addestrati, DeepSeek-VL2 ispirerà ulteriori ricerche e applicazioni innovative all’entusiasmante crocevia tra visione e linguaggio.
Ci sono diverse aree in cui DeepSeek-VL2 potrebbe essere migliorato.
- Finestra di contesto: Attualmente, il modello supporta solo poche immagini per sessione di chat. Aggiornamenti futuri potrebbero estendere la finestra di contesto per consentire interazioni multi-immagine più ricche.
- Robustezza alla qualità dell’immagine: Il modello a volte incontra difficoltà con immagini sfocate o oggetti mai visti. Affrontare questi problemi potrebbe migliorarne l’affidabilità in scenari diversi.
- Capacità di ragionamento: Sebbene il modello abbia buone prestazioni nella percezione e nel riconoscimento visivi, le sue capacità di ragionamento possono essere potenziate. Rafforzare questo aspetto potrebbe ampliare il suo potenziale applicativo nel mondo reale.
Ulteriori risorse
- Articolo di ricerca: DeepSeek-VL2: Mixture-of-Experts Vision-Language Models
Continua a leggere
Introducing Loon: A New Storage Engine for Vector Data That Never Stops Changing
Loon is a new storage engine for Milvus 3.0 and Zilliz Vector Lakebase, built to manage evolving vector datasets with ColumnGroups, row ID alignment, and Manifests.
What Is a Vector Lakebase?
A Vector Lakebase is a unified, lake-native data architecture for AI that combines vector-database-grade serving with open lake storage, reusable lake-level indexes, and a shared semantic layer.
Vector Databases vs. Document Databases
Use a vector database for similarity search and AI-powered applications; use a document database for flexible schema and JSON-like data storage.