Bertrand FabreAujourd’hui je vous présente Apache YARN.
Définition rapide
Apache YARN (Yet Another Resource Negotiator) est la technologie de gestion des ressources et de planification des tâches de manière distribuée, qui a entamé la séparation entre stockage et calcul.
Apache Hadoop
Apache YARN est sortie avec la version 2.0 d’Apache Hadoop.
Elle apporte donc une utilisation plus efficace et flexible des ressources du cluster Hadoop.
ResourceManager
C’est lui qui va gérer les ressources globales du cluster et qui les attribue aux applications.
NodeManager
Ce composant est présent sur chaque nœud du cluster et permet l’exécution de tâches, de la surveillance des ressources locales et de la gestion des conteneurs.
ApplicationMaster
C’est lui qui va lancer les containers et se charger de “négocier” avec le ResourceManager tout en travaillant avec le NodeManager pour exécuter et surveiller les tâches.
Compatibilités
Apache YARN supporte différentes application comme Apache Spark, Flink, MapReduce, etc.
Scalable
C’est devenu un classique voire même un basique dans les applications et outils liés à la Big Data, YARN pet s’adapter à des environnements nécessitant des ressources mouvantes, et surtout grandissantes.
Merci de votre lecture !
