NATS : Un système de messagerie léger pour les applications distribuées

**NATS est un système de messagerie léger et performant, idéal pour les applications distribuées. Il supporte la communication en temps réel avec des fonctionnalités telles que Pub/Sub, Request-Reply, et la persistance via JetStream. Comparé à d'autres solutions comme RabbitMQ, Kafka et RocksMQ, NATS se distingue par sa faible latence, son évolutivité et sa simplicité. Il est intégré à Milvus 2.3, ce qui améliore le traitement des données et les performances des requêtes dans les bases de données vectorielles. Avec une configuration facile, une gestion dynamique des sujets et des outils de surveillance robustes, le NATS est bien adapté aux systèmes cloud-natifs, à l'IoT et aux charges de travail pilotées par l'IA, afin de fournir une messagerie fiable et efficace pour divers cas d'utilisation.

Qu'est-ce que le NATS ?

NATS (Neural Autonomic Transport System) est un système de messagerie open-source pour les environnements distribués. Intégré au langage de programmation Go, il facilite la communication en temps réel entre les services, les applications et les appareils. NATS est léger et évolutif et prend en charge la transmission de messages haute performance pour les systèmes natifs dans le nuage, les microservices et l'IoT. Sa simplicité et sa rapidité aident les développeurs à connecter de manière fiable les systèmes distribués.

Comment fonctionne le NATS

L'idée qui sous-tend les NATS provient de l'observation de la manière dont les systèmes biologiques, tels que les [réseaux neuronaux] (https://zilliz.com/glossary/neural-networks) et le système nerveux autonome, gèrent la communication. Dans les systèmes biologiques, les neurones transmettent des signaux rapidement et s'adaptent à des environnements changeants. De même, le système nerveux autonome fonctionne sans effort conscient et régule automatiquement le rythme cardiaque et la respiration. Le NATS adopte ces principes et fournit un système qui fonctionne en arrière-plan et garantit que les messages entre les composants distribués sont transmis rapidement et de manière fiable sans nécessiter d'intervention manuelle.

Architecture des NATS

L'architecture du NATS est simple et puissante, ce qui le rend facile à utiliser et très efficace pour les environnements complexes. Voici les principaux composants :

1. Modèle de publication et d'abonnement

Le NATS fonctionne selon un modèle de messagerie de type publication-abonnement. Dans ce modèle :

Les éditeurs envoient des messages à des "sujets" spécifiques.
Les abonnés expriment leur intérêt pour certains sujets afin de recevoir des messages connexes. Ce modèle découple l'expéditeur et le destinataire, ce qui signifie qu'ils n'ont pas besoin de connaître les détails de l'autre pour communiquer.

2. Les couches

L'architecture des NATS est minimale de par sa conception et évite les couches inutiles qui peuvent ralentir la communication. Cependant, elle prend en charge

Couche centrale: Gère la transmission des messages de base entre les clients.
Couche de streaming (JetStream):** Fournit des fonctionnalités avancées telles que la persistance des messages, la relecture et l'accusé de réception pour des cas d'utilisation plus complexes.

3. Nœuds

Dans un environnement distribué, le système se compose de plusieurs nœuds qui interagissent les uns avec les autres :

Chaque nœud peut agir en tant qu'éditeur, abonné ou les deux.
Les nœuds se connectent à un serveur central ou à une grappe de serveurs qui acheminent les messages.

4. Voies d'accès

Les voies de communication des NATS sont optimisées pour la vitesse et la simplicité :

Les messages sont acheminés par les serveurs en utilisant les chemins les plus courts et les plus rapides.
L'équilibrage des charges permet de s'assurer qu'aucun serveur ne devient un goulot d'étranglement.
Lorsqu'un serveur tombe en panne, le système réachemine les messages pour maintenir la continuité, en s'inspirant de la résilience observée dans les systèmes biologiques.

5. Caractéristiques d'autogestion

Tout comme le système nerveux autonome s'adapte à des conditions changeantes, le NATS se gère automatiquement :

Load Balancing: Distribue le trafic de manière égale pour éviter de surcharger des serveurs spécifiques.
Tolérance aux pannes : récupération rapide des pannes de serveur sans perte de messages.
Évolutivité : s'adapte pour gérer un trafic accru ou un plus grand nombre de clients sans configuration complexe.

Applications des NATS

Les NATS ont des applications pratiques dans plusieurs domaines où une communication fiable et efficace est essentielle. Voici quelques cas concrets d'utilisation des NATS :

1. Systèmes d'IA distribués

Dans les systèmes d'IA, les composants tels que les processeurs de données, les formateurs de modèles et les moteurs de prédiction doivent échanger rapidement des informations pour fonctionner comme un tout unifié. Le NATS facilite cette communication grâce à des serveurs distribués et garantit que toutes les données atteignent les modèles d'apprentissage automatique en temps réel. Ainsi, le système identifie instantanément les activités suspectes et déclenche des alertes.

2. Informatique en nuage et informatique périphérique

Les nuages modernes et les [systèmes périphériques] (https://zilliz.com/glossary/edge-computing) nécessitent une communication en temps réel entre les appareils et les serveurs centraux. Le NATS est idéal pour le routage des messages dans ces configurations. Il équilibre dynamiquement le trafic et réachemine les messages pendant les pannes de serveur afin d'assurer un service ininterrompu.

Exemple:** Le NATS peut gérer la communication entre les serveurs périphériques qui mettent en cache le contenu vidéo au plus près des utilisateurs dans une plateforme de diffusion vidéo en continu. Si un utilisateur demande une vidéo, le NATS achemine la demande vers le serveur le plus proche pour une lecture plus rapide.

3. Internet des objets (IoT)

Les appareils IoT génèrent un flux continu de données, souvent à partir d'environnements distants ou à ressources limitées. Le protocole léger NATS convient aux appareils de faible puissance avec une livraison de messages rapide et fiable.

Exemple : **En agriculture, les systèmes d'irrigation intelligents utilisent des capteurs IoT pour surveiller l'humidité du sol et les conditions météorologiques. Le protocole NATS peut connecter ces capteurs à un système central qui analyse les données et ajuste automatiquement le débit d'eau. Les agriculteurs reçoivent des mises à jour sur leurs smartphones en temps réel.

4. Véhicules autonomes et robotique

Les véhicules autonomes et les robots dépendent d'une communication rapide et précise entre les capteurs, les systèmes de prise de décision et les unités de contrôle. Le NATS facilite cette coordination en temps réel. Il permet des mises à jour en temps réel et une communication cohérente, même lorsque certains drones perdent temporairement leur connectivité.

Exemple:** Dans une flotte de drones de livraison autonomes, le NATS permet aux drones de partager leurs positions et leurs itinéraires planifiés entre eux et avec un système de contrôle central. Cela permet d'éviter les collisions et d'optimiser les itinéraires de livraison.

Surveillance et débogage des clusters NATS

Le contrôle d'un cluster NATS est essentiel pour vérifier ses performances, sa fiabilité et son état de santé. Plusieurs outils et approches sont disponibles pour aider les administrateurs à suivre et à déboguer leurs déploiements NATS :

1. Prometheus avec NATS Exporter

Prometheus] (https://prometheus.io/) est largement utilisé pour la surveillance des systèmes distribués, et NATS fournit un exportateur dédié pour exposer les métriques.
Les métriques Prometheus comprennent les taux de messages, le nombre d'abonnements, la santé du serveur, etc.
Ces métriques peuvent être visualisées avec Grafana pour créer des tableaux de bord intuitifs permettant un suivi en temps réel des performances du système.

2. nats-top

nats-top](https://github.com/nats-io/nats-top) est un outil en ligne de commande qui fonctionne comme la commande top d'Unix, mais qui est adapté aux NATS.
Il fournit des données en temps réel sur les connexions actives, les abonnements et le débit des messages.
Les administrateurs peuvent rapidement identifier les goulets d'étranglement ou les serveurs surchargés en temps réel.

3. natsboard

[natsboard] (https://github.com/devfacet/natsboard) est un outil de surveillance basé sur le web, doté d'une interface graphique permettant de visualiser l'état de la grappe.
Il affiche des données telles que les clients connectés, le trafic de messages et la santé du serveur.
Cet outil est convivial et permet d'identifier facilement les problèmes sans nécessiter de connaissances techniques approfondies.

Points finaux de surveillance HTTP

Les serveurs NATS exposent des points d'extrémité HTTP pour la surveillance en temps réel. Voici quelques exemples :
- /connz: Affiche des informations sur les connexions actives.
- /routez: Fournit des détails sur le routage du serveur.
- /varz: Affiche les statistiques du serveur, notamment l'utilisation de la mémoire, la charge du processeur et le nombre de messages.
Ces points d'extrémité peuvent être interrogés ou intégrés à des scripts personnalisés pour des solutions de surveillance sur mesure.

5. Outils communautaires

La communauté active des NATS a fourni plusieurs outils supplémentaires pour la surveillance et le débogage, notamment :
- nats-mon: Offre une interface graphique pour la visualisation des clusters.
- Scripts et plugins personnalisés développés par les membres de la communauté pour des cas d'utilisation spécifiques.

Avantages de NATS

Évolutivité et flexibilité:** S'adapte aux systèmes de toute taille, des petits microservices aux réseaux distribués à grande échelle.
Faible latence: Fournit une livraison de messages quasi-instantanée pour les applications en temps réel telles que l'IA et l'IoT.
Fiabilité élevée:** Gère les défaillances avec élégance grâce au reroutage automatique et à l'équilibrage du trafic pour une communication ininterrompue.
Cost-Effective: Open-source et léger, réduisant les dépenses d'infrastructure et d'exploitation pour les grands déploiements.
Facilité d'utilisation : des API simples et une configuration minimale permettent une mise en place rapide et une intégration dans les systèmes existants.
Prise en charge multiplateforme:** Fonctionne sur différents systèmes d'exploitation et environnements pour une large compatibilité.
Communication sécurisée:** Prise en charge des mécanismes de cryptage et d'authentification pour garantir l'intégrité et la confidentialité des messages.

Défis liés au développement des NATS

Limitations de la taille des messages:** La taille par défaut des messages est de 1 Mo, ce qui peut nécessiter des ajustements pour les applications qui requièrent des données plus volumineuses.
Restrictions de stockage:** Chaque compte NATS a une limite de stockage de 300 Mo, y compris les données répliquées, ce qui peut devenir une contrainte pour les systèmes à haut volume.
Complexité de l'intégration:** L'adaptation des NATS aux systèmes existants ou aux applications utilisant des protocoles de messagerie différents peut s'avérer difficile.
Problèmes de sécurité:** Les identifiants NATS permettent un accès complet au compte, ce qui rend l'isolation et le contrôle d'accès essentiels pour éviter les risques de sécurité.
Dépendance TLS:** Les communications sécurisées reposent sur le protocole TLS, ce qui nécessite une gestion et une configuration adéquates des certificats pour garantir la sécurité des connexions.
Limitations géographiques:** Certains services NATS sont spécifiques à une région et limitent l'accès aux fonctionnalités en fonction de la localisation.
Défis en matière d'évolutivité:** Des paramètres mal configurés tels que max_payload peuvent entraver les performances des systèmes dont la charge de messages est élevée.
La gestion de comptes multiples, la surveillance des clusters et le contrôle d'accès cohérent augmentent la complexité.
Surveillance et débogage:** La résolution des problèmes dans les déploiements NATS distribués peut s'avérer difficile sans outils et pratiques de surveillance robustes.

Comparaison des NATS avec d'autres systèmes de messagerie

Le tableau suivant met en évidence les principales différences entre les NATS et les autres systèmes de messagerie, ainsi que la manière dont chacun est adapté à des cas d'utilisation et à des exigences techniques différents.


Feature	NATS	RabbitMQ	Redis	Apache Kafka	Apache Pulsar	Facilité de mise en œuvre	Faculté de mise en œuvre	NATS	RabbitMQ	Apache Pulsar
Facilité de mise en place : Léger, rapide à déployer.	Nécessite une expertise dans la mise en place de HA.	Simple, mais pas conçu pour la messagerie.	Configuration complexe pour les grands systèmes.	Convient aux installations d'entreprise.
Performance	Faible latence, vitesse élevée.	Fiable mais plus lent que le NATS.	Ralentissement en cas de messages persistants.	Très bon pour les flux importants, mais pas pour la vitesse.	Robuste mais plus lent en raison des fonctionnalités ajoutées.
Reprise des messages	Prise en charge via JetStream.	Pas de prise en charge native de la relecture.	Limité et non intuitif.	Supporté mais complexe.	Nécessite une configuration minutieuse.
Mise à l'échelle	Mise à l'échelle facile sans infrastructure lourde.	La mise à l'échelle nécessite des ressources importantes.	Évolutivité limitée pour la messagerie.	Excellent pour les données volumineuses (big data), mais très gourmand en ressources.	Évolutif mais complexe d'un point de vue opérationnel.
Le meilleur cas d'utilisation	Messagerie rapide et en temps réel.	Les files d'attente traditionnelles pour les petites entreprises.	Pub/Sub simple, données transitoires.	Données en continu à grande échelle.	Besoins de messagerie au niveau de l'entreprise.

Tableau: NATS vs. autres systèmes de messagerie

NATS with Milvus : Transformer la messagerie dans les bases de données vectorielles

Milvus est une base de données vectorielles open-source de premier plan créée par Zilliz qui stocke des embeddings vectoriels à haute dimension et fournit des recherches sémantiques et des recherches de similarité efficaces. En intégrant le NATS en tant que système de messagerie, l'ensemble du système optimise le traitement des données, la synchronisation et la gestion des événements au sein de Milvus, en particulier pour les applications à forte intensité de données.

Les NATS jouent un rôle essentiel dans Milvus de la manière suivante :

Intégration de la file d'attente de messages: Les NATS remplacent [RocksMQ] (https://milvus.io/docs/configure_rocksmq.md) dans le mode autonome de Milvus 2.3, qui offre des performances et une flexibilité supérieures pour la gestion des flux de données.
NATS prend en charge la communication Pub/Sub, la persistance JetStream et la messagerie distribuée pour un traitement fiable des données en cas de charge élevée.
Les utilisateurs peuvent personnaliser des paramètres tels que la taille maximale de la charge utile, le répertoire de stockage et les paramètres du serveur pour s'adapter à des charges de travail spécifiques.

Test d'intégration de Milvus : NATS a démontré une latence de requête plus faible et des taux de requêtes par seconde (RPS) plus élevés lors de recherches vectorielles dans des ensembles de données de 100 millions de vecteurs ou plus.

Recherches vectorielles plus rapides:** Le NATS réduit la latence et améliore les performances des requêtes, ce qui le rend idéal pour l'apprentissage automatique et l'analyse en temps réel.
Fiabilité et évolutivité:** Ses capacités de messagerie robustes garantissent des performances constantes dans les déploiements à grande échelle.

Pour plus d'informations, consultez la [documentation officielle NATS] (https://docs.nats.io/running-a-nats-service/configuration).

Conclusion

NATS est un puissant système de messagerie conçu pour la vitesse, la simplicité et l'évolutivité des environnements distribués modernes. Que vous construisiez des applications en temps réel, gériez des appareils IoT ou traitiez des charges de travail d'IA à grande échelle, NATS fournit une communication fiable avec une faible latence et une utilisation efficace des ressources. Sa flexibilité, ses fonctionnalités robustes telles que JetStream pour la persistance et la relecture, et sa facilité d'intégration avec les systèmes existants en font le choix privilégié des développeurs.

Foire aux questions (FAQ) sur les NATS

**Oui, le NATS JetStream permet de rejouer les messages en fonction de l'heure ou de la séquence. Cette fonction est utile pour récupérer des messages historiques ou pour traiter des flux à partir d'un point spécifique.
**Comment le NATS gère-t-il l'équilibrage de la charge ? Le NATS utilise des groupes de files d'attente pour la mise en file d'attente distribuée. Les messages envoyés à un groupe de files d'attente sont délivrés à un abonné du groupe, choisi au hasard pour une distribution efficace de la charge sans persistance.
**Quelle est la taille maximale des messages dans le NATS ? ** Par défaut, le NATS prend en charge des messages d'une taille maximale de 1 Mo. Cette limite peut être augmentée jusqu'à 64 Mo en ajustant la configuration max_payload, bien que des tailles plus petites soient recommandées pour des raisons de performance.
**Comment le NATS gère-t-il la création de sujets ? Les sujets sont créés dynamiquement lorsqu'un client s'y abonne et sont supprimés lorsque le dernier abonné se désabonne. Il n'existe pas de répertoire statique de sujets, car ils dépendent des abonnements en temps réel.
**Le NATS prend-il en charge les consommateurs durables ? Oui, le NATS JetStream prend en charge les consommateurs durables. Ces consommateurs conservent leur état même s'ils se déconnectent, ce qui leur permet de reprendre le traitement des messages sans perdre leur progression.

Ressources connexes

Contenu

Commencez gratuitement, évoluez facilement

Essayez la base de données vectorielle entièrement managée conçue pour vos applications GenAI.

Essayer Zilliz Cloud gratuitement

Partager cet article

Ressources connexes

Qu'est-ce qu'une base de données vectorielle ?

Une base de données vectorielle est une solution entièrement gérée et sans fioritures pour le stockage, l'indexation et la recherche dans un ensemble massif de données non structurées qui exploite la puissance des encastrements des modèles d'apprentissage automatique.

Introduction à la recherche par similarité vectorielle

Comment des éléments sémantiquement similaires de données non structurées sont "proches" et "éloignés" les uns des autres.

Évaluation des performances de Milvus 2023

Ce tutoriel vous permettra d'en savoir plus sur les données textuelles non structurées.