46.5kAgendar demoEntrarComece grátis

NATS

Published 13 min de leitura

TL;DR: NATS é um sistema de mensagens leve e de alto desempenho ideal para aplicações distribuídas. Ele suporta comunicação em tempo real com recursos como Pub/Sub, Request-Reply e persistência via JetStream. Comparado a alternativas como RabbitMQ, Kafka e RocksMQ, o NATS se destaca por sua baixa latência, escalabilidade e simplicidade. Está integrado no Milvus 2.3, melhorando o processamento de dados e o desempenho das consultas em bases de dados vectoriais. Com configuração fácil, gerenciamento dinâmico de assuntos e ferramentas de monitoramento robustas, o NATS é adequado para sistemas nativos da nuvem, IoT e cargas de trabalho orientadas por IA para fornecer mensagens confiáveis e eficientes para diversos casos de uso.

O que é NATS?

O NATS (Neural Autonomic Transport System) é um sistema de mensagens de código aberto para ambientes distribuídos. Construído na linguagem de programação Go, facilita a comunicação em tempo real entre serviços, aplicações e dispositivos. O NATS é leve e escalável e suporta a entrega de mensagens de alto desempenho para sistemas nativos da nuvem, microsserviços e IoT. A sua simplicidade e velocidade ajudam os programadores a ligar sistemas distribuídos de forma fiável.

Como o NATS funciona

A ideia por trás do NATS vem da observação de como os sistemas biológicos, como as [redes neurais] (https://zilliz.com/glossary/neural-networks) e o sistema nervoso autónomo, lidam com a comunicação. Nos sistemas biológicos, os neurónios transmitem sinais rapidamente e adaptam-se a ambientes em mudança. Do mesmo modo, o sistema nervoso autónomo funciona sem esforço consciente e regula automaticamente os batimentos cardíacos e a respiração. O NATS adopta estes princípios e fornece um sistema que funciona em segundo plano e garante que as mensagens entre componentes distribuídos são entregues prontamente e de forma fiável, sem necessidade de intervenção manual.

Arquitetura do NATS

A arquitetura do NATS é simples e poderosa, tornando-o fácil de usar e altamente eficaz para ambientes complexos. Aqui estão os principais componentes:

1. Modelo Publish-Subscribe

O NATS opera num padrão de mensagens publish-subscribe. Neste modelo:

  • Publishers enviam mensagens para "sujeitos" específicos.

  • Os Subscritores manifestam interesse em determinados assuntos para receber mensagens relacionadas. Esta conceção dissocia o emissor e o recetor, o que significa que não precisam de conhecer os detalhes um do outro para comunicar.

2. Camadas

A arquitetura NATS é minimalista na sua conceção e evita camadas desnecessárias que podem tornar a comunicação mais lenta. No entanto, suporta:

  • Core Layer: Trata da entrega de mensagens básicas entre clientes.

  • Camada de fluxo (JetStream):** Fornece recursos avançados como persistência de mensagens, repetição e reconhecimento para casos de uso mais complexos.

3. Nós

Num ambiente distribuído, o sistema é constituído por vários nós que interagem entre si:

  • Cada nó pode atuar como publicador, assinante ou ambos.

  • Os nós ligam-se a um servidor central ou a um grupo de servidores que encaminham as mensagens.

4. Caminhos

As vias de comunicação no NATS estão optimizadas para serem rápidas e simples:

  • As mensagens são encaminhadas através dos servidores utilizando as rotas mais curtas e mais rápidas.

  • O balanceamento de carga garante que nenhum servidor se torne um gargalo.

  • Quando um servidor falha, o sistema reencaminha as mensagens para manter a continuidade, inspirado na resiliência observada nos sistemas biológicos.

5. Caraterísticas de autogestão

Tal como o sistema nervoso autónomo se ajusta a condições variáveis, o NATS gere automaticamente:

  • Load Balancing: Distribui o tráfego uniformemente para evitar a sobrecarga de servidores específicos.

  • Tolerância a falhas:** Recupera-se rapidamente de falhas no servidor sem perder mensagens.

  • Escalabilidade:** Adapta-se para lidar com o aumento do tráfego ou mais clientes sem configuração complexa.

Aplicações do NATS

O NATS tem aplicações práticas em vários domínios onde a comunicação fiável e eficiente é essencial. Abaixo estão alguns casos de uso do NATS no mundo real:

1. Sistemas de IA distribuídos

Nos sistemas de IA, componentes como processadores de dados, treinadores de modelos e mecanismos de previsão devem trocar informações rapidamente para funcionar como um todo unificado. O NATS facilita essa comunicação por meio de servidores distribuídos e garante que todos os dados cheguem aos modelos de aprendizado de máquina em tempo real. Assim, o sistema identifica instantaneamente actividades suspeitas e dispara alertas.

2. Computação em nuvem e de borda

Os modernos sistemas de nuvem e [edge systems] (https://zilliz.com/glossary/edge-computing) requerem comunicação em tempo real entre dispositivos e servidores centrais. O NATS é ideal para o encaminhamento de mensagens nessas configurações. Ele equilibra dinamicamente o tráfego e redireciona as mensagens durante as interrupções do servidor para um serviço ininterrupto.

  • Exemplo:** O NATS pode gerir a comunicação entre servidores de borda que armazenam em cache o conteúdo de vídeo mais próximo dos utilizadores numa plataforma de streaming de vídeo. Se um utilizador solicitar um vídeo, o NATS encaminha o pedido para o servidor mais próximo para uma reprodução mais rápida.

3. Internet das coisas (IoT)

Os dispositivos IoT geram um fluxo contínuo de dados, muitas vezes a partir de ambientes remotos ou com recursos limitados. O protocolo NATS leve adequa-se a dispositivos de baixo consumo com entrega rápida e fiável de mensagens.

  • Exemplo:** Na agricultura, os sistemas de irrigação inteligentes utilizam sensores IoT para monitorizar a humidade do solo e o clima. O NATS pode ligar estes sensores a um sistema central que analisa os dados e ajusta o fluxo de água automaticamente. Os agricultores recebem actualizações nos seus smartphones em tempo real.

4. Veículos autónomos e robótica

Os veículos autónomos e os robôs dependem de uma comunicação rápida e precisa entre sensores, sistemas de tomada de decisão e unidades de controlo. O NATS facilita essa coordenação em tempo real. Ele suporta atualizações em tempo real e comunicação consistente, mesmo quando alguns drones perdem temporariamente a conetividade.

  • Exemplo:** Numa frota de drones de entrega autónomos, o NATS permite que os drones partilhem as suas posições e rotas planeadas entre si e com um sistema de controlo central. Isto evita colisões e optimiza as rotas de entrega.

Monitorando e depurando clusters NATS

A monitorização de um cluster NATS é vital para verificar o seu desempenho, fiabilidade e saúde. Várias ferramentas e abordagens estão disponíveis para ajudar os administradores a monitorar e depurar suas implantações NATS:

1. Prometheus com exportador NATS

  • O Prometheus é amplamente utilizado para monitorar sistemas distribuídos, e o NATS fornece um exportador dedicado para expor métricas.

  • As métricas do Prometheus incluem taxas de mensagens, contagens de assinaturas, saúde do servidor e muito mais.

  • Essas métricas podem ser visualizadas com Grafana para criar painéis intuitivos para acompanhamento em tempo real do desempenho do sistema.

2. nats-top

  • nats-top é uma ferramenta de linha de comando que funciona como o comando Unix top, mas é adaptado para NATS.

  • Ela fornece dados em tempo real sobre conexões ativas, assinaturas e taxa de transferência de mensagens.

  • Os administradores podem identificar rapidamente gargalos ou servidores sobrecarregados em tempo real.

3. natsboard

  • O natsboard é uma ferramenta de monitorização baseada na Web com uma interface gráfica para visualizar o estado do cluster.

  • Ele exibe dados como clientes conectados, tráfego de mensagens e integridade do servidor.

  • A ferramenta é de fácil utilização, facilitando a identificação de problemas sem exigir conhecimentos técnicos profundos.

Pontos de extremidade de monitoramento HTTP

  • Os servidores NATS expõem pontos de extremidade HTTP para monitoramento em tempo real. Os exemplos incluem:

    • /connz: Exibe informações sobre conexões ativas.

    • /routez: Fornece detalhes sobre o roteamento do servidor.

    • /varz: Relata estatísticas do servidor, incluindo uso de memória, carga da CPU e contagem de mensagens.

  • Esses pontos de extremidade podem ser pesquisados ou integrados a scripts personalizados para soluções de monitoramento personalizadas.

5. Ferramentas da comunidade

  • A comunidade NATS ativa contribuiu com várias ferramentas adicionais para monitorização e depuração, incluindo:

    • nats-mon: Oferece uma interface gráfica para insights sobre o cluster.

    • Scripts e plugins personalizados desenvolvidos por membros da comunidade para casos de uso específicos.

Benefícios do NATS

  • Escalabilidade e Flexibilidade:** Adapta-se a sistemas de qualquer tamanho, desde pequenos microsserviços até redes distribuídas em larga escala.

  • Baixa latência:** Fornece entrega de mensagens quase instantânea para aplicativos em tempo real, como IA e IoT.

  • Alta confiabilidade:** Lida com falhas graciosamente com redirecionamento automático e balanceamento de tráfego para comunicação ininterrupta.

  • Custo-efetivo:** De código aberto e leve, reduzindo as despesas operacionais e de infraestrutura para grandes implantações.

  • Facilidade de uso:** APIs simples e configuração mínima agilizam a instalação e a integração em sistemas existentes.

  • Suporte multiplataforma:** Funciona em diferentes sistemas operativos e ambientes para uma ampla compatibilidade.

  • Comunicação segura:** Suporta mecanismos de encriptação e autenticação para salvaguardar a integridade e a privacidade das mensagens.

Desafios no desenvolvimento do NATS

  • Limitações de tamanho de mensagem:** O tamanho padrão da mensagem é 1 MB, que pode precisar de ajustes para aplicações que requerem cargas de dados maiores.

  • Restrições de armazenamento:** Cada conta NATS tem um limite de armazenamento de 300 MB, incluindo dados replicados, o que pode se tornar uma restrição para sistemas de alto volume.

  • Complexidade de integração:** Adaptar o NATS para trabalhar com sistemas legados ou aplicações que usam protocolos de mensagens diferentes pode ser um desafio.

  • Preocupações com a segurança:** As credenciais NATS fornecem acesso total à conta, tornando o isolamento e o controlo de acesso críticos para evitar riscos de segurança.

  • Dependência de TLS:** A comunicação segura depende de TLS, exigindo gerenciamento e configurações de certificados adequados para conexões seguras.

  • Limitações geográficas:** Alguns serviços NATS são específicos da região e limitam o acesso a funcionalidades com base na localização.

  • Desafios de escalabilidade:** Parâmetros mal configurados, como max_payload, podem prejudicar o desempenho em sistemas com altas cargas de mensagens.

  • Sobrecarga operacional:** A gestão de várias contas, a monitorização de clusters e o controlo de acesso consistente aumentam a complexidade.

  • Monitoramento e depuração:** A solução de problemas em implantações NATS distribuídas pode ser difícil sem ferramentas e práticas de monitoramento robustas.

Comparação do NATS com outros sistemas de mensagens

A tabela a seguir destaca as principais diferenças entre o NATS e outros sistemas de mensagens e como cada um é adequado para diferentes casos de uso e requisitos técnicos.
Caraterísticas**NATSRabbitMQRedisApache KafkaApache Pulsar
Facilidade de configuração**Leve, rápido de implantar.Requer experiência em configurações de HA.Simples, mas não projetado para mensagens.Configuração complexa para grandes sistemas.Adequado para configurações de nível empresarial.
Desempenho**Baixa latência, alta velocidade.Confiável, mas mais lento que o NATS.Lentidão com mensagens persistentes.Ótimo para grandes fluxos, não para velocidade.Robusto, mas mais lento devido a recursos adicionais.
Reprodução de mensagensSuportado via JetStream.Não há suporte nativo para reprodução.Limitado e não intuitivo.Suportado, mas complexo.Requer uma configuração cuidadosa.
Escalabilidade**Escala facilmente sem infraestrutura pesada.Escalonamento com uso intensivo de recursos.Escalabilidade limitada para mensagens.Excelente para big data, mas com muitos recursos.Escalável, mas operacionalmente complexo.
Melhor caso de uso**Mensagens rápidas e em tempo real.Filas tradicionais para pequenas empresas.Pub/Sub simples, dados transitórios.Fluxo de dados em grande escala.Necessidades de mensagens de nível empresarial.

Tabela: NATS vs Outros Sistemas de Mensagens

NATS com Milvus: Transformando Mensagens em Bases de Dados Vetoriais

O Milvus é uma base de dados vetorial de código aberto, criada por Zilliz, que armazena vetor embeddings de elevada dimensão e fornece semântica e pesquisas por similaridade eficientes. Ao integrar o NATS como um sistema de mensagens, todo o sistema optimiza o processamento de dados, a sincronização e a gestão de eventos no Milvus, especialmente para aplicações de dados intensivos.

Os NATS desempenham um papel vital no Milvus das seguintes formas:

  • Integração de Filas de Mensagens: O NATS substitui o RocksMQ no modo standalone do Milvus 2.3, que oferece desempenho superior e flexibilidade para gerenciar fluxos de dados.

  • Caraterísticas principais:** O NATS suporta comunicação Pub/Sub, persistência JetStream e mensagens distribuídas para um tratamento fiável de dados durante cargas elevadas.

  • Configurabilidade melhorada:** Os utilizadores podem personalizar parâmetros como o tamanho máximo da carga útil, o diretório de armazenamento e as definições do servidor para se adequarem a cargas de trabalho específicas.

  • Testes de integração do Milvus:** O NATS demonstrou menor latência de consulta e taxas mais altas de solicitação por segundo (RPS) durante pesquisas vetoriais em conjuntos de dados de 100 milhões de vetores ou mais.

  • Pesquisas vetoriais mais rápidas:** O NATS reduz a latência e melhora o desempenho da consulta, o que o torna ideal para aprendizado de máquina e análise em tempo real.

  • Fiabilidade e escalabilidade:** As suas capacidades robustas de envio de mensagens garantem um desempenho consistente em implementações em grande escala.

Para obter mais informações, consulte a [documentação oficial do NATS] (https://docs.nats.io/running-a-nats-service/configuration).

Conclusão

O NATS é um poderoso sistema de mensagens projetado para velocidade, simplicidade e escalabilidade para ambientes distribuídos modernos. Quer você crie aplicativos em tempo real, gerencie dispositivos IoT ou lide com cargas de trabalho de IA em grande escala, o NATS fornece comunicação confiável com baixa latência e uso eficiente de recursos. A sua flexibilidade, funcionalidades robustas como o JetStream para persistência e repetição, e a facilidade de integração com os sistemas existentes fazem dele a escolha preferida dos programadores.

Perguntas frequentes (FAQs) sobre o NATS

  1. O NATS suporta replay de mensagens? Sim, o NATS JetStream permite replay de mensagens baseado em tempo ou sequência. Esta funcionalidade é útil para recuperar mensagens históricas ou processar streams a partir de um ponto específico.

  2. **Como o NATS lida com balanceamento de carga? O NATS usa grupos de filas para enfileiramento distribuído. Mensagens enviadas para um grupo de filas são entregues a um assinante do grupo, escolhido aleatoriamente para uma distribuição eficiente de carga sem persistência.

  3. Qual o tamanho máximo de mensagem no NATS? Por padrão, o NATS suporta mensagens de até 1 MB. Este limite pode ser aumentado para 64 MB ajustando a configuração max_payload, embora tamanhos menores sejam recomendados para performance.

  4. Como o NATS lida com a criação de assuntos? Os assuntos são criados dinamicamente quando um cliente se inscreve neles e são removidos quando o último assinante cancela sua inscrição. Não há um diretório estático de assuntos, pois eles dependem de assinaturas em tempo real.

  5. O NATS suporta consumidores duráveis? Sim, o NATS JetStream suporta consumidores duráveis. Estes consumidores mantêm o seu estado mesmo que se desliguem, permitindo-lhes retomar o processamento de mensagens sem perder o progresso.

Recursos relacionados

Recursos relacionados