Resumo do Webinar: Impulsione seu LLM com Dados Privados Usando LlamaIndex
A popularidade do ChatGPT demonstrou as capacidades dos grandes modelos de linguagem (LLMs) na geração de conhecimento e raciocínio. No entanto, o ChatGPT é pré-treinado com dados disponíveis publicamente, o que pode não fornecer respostas e resultados específicos relevantes para o seu negócio. Então, como podemos aprimorar melhor nossos LLMs com dados privados? LlamaIndex é uma das soluções mais populares. É uma interface simples, flexível e centralizada que conecta seus dados externos e LLMs.
Em nosso webinar recente, Jerry Liu, cofundador e CEO da LlamaIndex, explicou como o LlamaIndex poderia impulsionar seus LLMs com dados privados. Além disso, Frank Liu, Arquiteto de Machine Learning e Diretor de Operações da Zilliz, também compartilhou seus insights sobre LLMs. Junte-se a mim para explorar os principais aprendizados deste webinar e responder a algumas das perguntas não respondidas do público.
Ajuste fino e aprendizagem em contexto
"Como aprimorar LLMs com dados privados" é uma pergunta que muitos desenvolvedores de LLM fariam. No webinar, Jerry discutiu dois métodos: ajuste fino e aprendizagem em contexto. O ajuste fino exige retreinar a rede com dados privados, mas pode ser caro e carecer de transparência. Além disso, pode ser eficaz apenas em alguns casos. Por outro lado, a aprendizagem em contexto envolve parear um modelo pré-treinado com conhecimento externo e um modelo de recuperação para adicionar contexto ao prompt de entrada. No entanto, surgem desafios ao combinar recuperação e geração, recuperar o contexto apropriado e gerenciar dados de origem extensos. LlamaIndex é um kit de ferramentas projetado para enfrentar os desafios da aprendizagem em contexto.
O que é LlamaIndex?
LlamaIndex é uma ferramenta de código aberto que fornece a interface central de gerenciamento de dados e consulta para suas aplicações de LLM. Seu kit de ferramentas contém três componentes principais:
- Conectores de dados para ingerir dados de várias fontes.
- Índices de dados para estruturar dados para diferentes casos de uso.
- Uma interface de consulta para inserir prompts e receber a saída aumentada por conhecimento.
Três componentes principais do LlamaIndex
LlamaIndex também é uma ferramenta valiosa para desenvolver aplicações de LLM. Ele opera como uma caixa-preta, recebendo descrições detalhadas de consultas e fornecendo respostas ricas que incluem referências e ações. LlamaIndex também gerencia interações entre o modelo de linguagem e dados privados para fornecer resultados precisos e desejados.
LlamaIndex em contexto
Como funciona o índice de armazenamento vetorial do LlamaIndex
LlamaIndex tem vários índices, incluindo o índice de lista, o índice de armazenamento vetorial, o índice em árvore e o índice de palavras-chave. Jerry usou o índice de armazenamento vetorial no webinar para mostrar como os índices do LlamaIndex funcionam.
O índice de armazenamento vetorial é um modo popular de recuperação e síntese que pareia um armazenamento vetorial com um modelo de linguagem. Um conjunto de documentos de origem é ingerido, dividido em nós de texto e armazenado no armazenamento vetorial com uma incorporação anexada a cada nó. Quando você faz uma consulta, uma incorporação de consulta pesquisa no armazenamento vetorial pelos top-k nós mais semelhantes; esses nós são então usados no módulo de síntese de respostas para gerar uma resposta.
Ingestão de dados no LlamaIndex
Consultando por meio do índice de armazenamento vetorial
Usar um índice de armazenamento vetorial é a melhor abordagem para introduzir similaridade na sua aplicação de LLM. Esse tipo de índice é ideal para fluxos de trabalho que comparam textos por similaridade semântica. Por exemplo, um índice de armazenamento vetorial seria adequado para fazer perguntas sobre um software open-source específico.
A integração do Milvus e do LlamaIndex
O LlamaIndex fornece inúmeras integrações que são ao mesmo tempo poderosas e leves. No webinar, Jerry destacou a integração do Milvus e do LlamaIndex.
Milvus é um banco de dados vetorial open-source capaz de lidar com vastos conjuntos de dados que contêm milhões, bilhões ou até trilhões de vetores. Com a integração, o Milvus atua como o armazenamento vetorial de backend para embeddings e texto. Configurar a integração é simples: inserir vários parâmetros, envolvê-los em algum contexto de armazenamento e, em seguida, colocá-los no índice de armazenamento vetorial. A consulta ao índice é feita por meio do mecanismo de consulta, e você obterá as respostas de que precisa.
Zilliz Cloud é um serviço totalmente gerenciado e nativo da nuvem para Milvus, e a integração do LlamaIndex e do Zilliz Cloud também está disponível.
Casos de uso do LlamaIndex
No webinar, Jerry também compartilhou muitos casos de uso populares do LlamaIndex, incluindo:
- Busca semântica
- Resumo
- Texto para SQL (dados estruturados)
- Síntese sobre dados heterogêneos
- Consultas de comparação/contraste
- Consultas em várias etapas
- Exploração de relações temporais
- Filtragem por atualidade / nós desatualizados
Para descrições e informações detalhadas, assista à gravação completa do webinar.
Perguntas e respostas
Recebemos muitas perguntas do nosso público durante o webinar e apreciamos o engajamento deles. Jerry respondeu a algumas das perguntas durante a sessão de perguntas e respostas, mas, devido a restrições de tempo, algumas ficaram sem resposta. Abaixo, compilamos uma lista das perguntas mais feitas e das perguntas não respondidas, juntamente com as respostas de Jerry.
P: O que você acha dos plugins da OpenAI e como o LlamaIndex funcionaria com eles?
Esta é uma boa pergunta. Nós nos vemos nos dois lados do cenário de plugins. Por um lado, nos vemos como um plugin muito bom que pode ser chamado por qualquer abstração de agente externa (seja ChatGPT, LangChain ou outras). Um agente cliente passaria uma solicitação de entrada para nós, e descobriríamos como executar essa solicitação da melhor forma internamente. Por exemplo, somos um plugin no repositório chatgpt-retrieval-plugin. Do lado do cliente, oferecemos suporte à integração com quaisquer serviços que implementem o chatgpt-retrieval-plugin — uma abstração de "armazenamento vetorial".
P: Você mencionou compensações em desempenho e latência. Quais são alguns gargalos e desafios nessa área que você encontra?
Maiores quantidades de contexto + maior tamanho de fragmento = maior latência. Há debate sobre se tamanhos de fragmento maiores sempre levam a melhores resultados (o GPT-4, empiricamente, é melhor em lidar com quantidades mais extensas de contexto do que o GPT-3). Ainda assim, em geral, há uma correlação positiva aqui. Outra compensação é que qualquer sistema LLM “avançado”, por exemplo, envolvendo agentes, requer chamadas LLM encadeadas. Chamadas LLM encadeadas inerentemente levam mais tempo para serem executadas.
P: Entendo que estamos usando um modelo externo para executar as consultas. Quão seguros são os dados privados transmitidos?
Depende do serviço de API. Por exemplo, a OpenAI não usa dados da API para treinar/melhorar seus modelos, mas ainda haverá preocupações empresariais sobre o envio de dados sensíveis a uma 3ª parte. Recentemente adicionamos alguns módulos de PII para ajudar a aliviar isso. Outra alternativa é usar modelos locais.
Q: Quais são os prós e contras das duas abordagens: (a) aproveitar um banco de dados vetorial como o Milvus para busca avançada por similaridade e otimizações de grafos ANTES de carregar e indexar no LlamaIndex e fazer a interface com um LLM; (b) usar integrações nativas do LlamaIndex com vector stores?
Você pode fazer qualquer uma das duas. Planejamos consolidar um pouco mais essas duas abordagens, então fique atento. Em um nível muito alto, usar o Milvus primeiro como um carregador de dados permite que você use dados existentes com o LlamaIndex. Em contraste, se você usar nosso índice vetorial apoiado pelo Milvus, definiremos estruturas adicionais sobre esses dados. O ponto positivo da primeira opção é que você pode usar dados existentes, e o ponto positivo da segunda é que temos mais controle na definição de metadados.
Q: Preciso analisar aproximadamente 6.000 PDFs e PowerPoints localmente. O que você recomendaria para eu obter os melhores resultados sem usar OpenAI, LlamaIndex, com llama65b?
Você pode tentar usar Llama se estiver de acordo com a licença. Dê uma olhada nos modelos open-source no GitHub.
Assista à gravação completa do webinar!
Assista à gravação do webinar para obter mais informações sobre o LlamaIndex e as discussões entre Jerry Liu e Frank Liu.
Continue lendo
Zilliz Cloud Now Available in Azure North Europe: Bringing AI-Powered Vector Search Closer to European Customers
The addition of the Azure North Europe (Ireland) region further expands our global footprint to better serve our European customers.
Bringing AI to Legal Tech: The Role of Vector Databases in Enhancing LLM Guardrails
Discover how vector databases enhance AI reliability in legal tech, ensuring accurate, compliant, and trustworthy AI-powered legal solutions.
Proactive Monitoring for Vector Database: Zilliz Cloud Integrates with Datadog
we're excited to announce Zilliz Cloud's integration with Datadog, enabling comprehensive monitoring and observability for your vectorDB deployments.