Les traitements Hadoop arrivent dans Docker

Les charges de travail Hadoop devraient bientôt être en mesure de s'exécuter facilement et en toute sécurité à l'intérieur de conteneurs Docker.

Conçue à l'origine pour faciliter le travail des développeurs web, la plate-forme de containers Linux Docker pourrait aussi être une aubaine pour les applications dédiées au traitement des grands volumes de données. L'équipe à l'origine d'Altiscale, la solution Hadoop-as-a-Service développée par Raymie Stata, l'ancien CTO de Yahoo, travaille en étroite collaboration avec la communauté Docker pour intégrer la technologie à Yarn (Yet Another Resource Negotiator), le planificateur de tâches livrée avec Hadoop 2.0.

M. Stata indique que ce développement est particulièrement important pour son entreprise, ainsi que pour tous ceux qui utilisent Hadoop dans un environnement multi-tenant. Non seulement Docker fournit une solution autorisant le déploiement rapide d'applications sur Yarn, mais il assure également le cloisonnement entre elles. Le cloisonnement est un point important en termes de sécurité (un utilisateur peut disposer des autorisations dans un cluster qui ne s'étend pas au cluster voisin), mais aussi de performances.

Des instances multiples et cloisonnées au-dessus de Yarn

Pour une entreprise comme Cloudera, a-t-il expliqué, l'intégration avec Docker pourrait être « un vrai plus » parce que beaucoup d'utilisateurs de la distribution Hadoop sont limités aujourd'hui à des instances locales et exclusives. Cependant, comme plus en plus de clients commencent à vouloir exécuter plusieurs types de tâches - Spark et Matlab par exemple - au-dessus de Yarn, la gestion d'instances multiples et cloisonnées est arrivée sur la tapis.

Cependant, avant de pouvoir utiliser Docker avec Yarn, il est encore nécessaire d'intégrer le support des User ID (UID) de Linux, qui assurera qu'une application ne déborde pas sur une autre et ne compromet donc pas les performances et l'intégrité d'un container.

A la fin de cette année, les utilisateurs de Hadoop devraient être en mesure de commencer à utiliser des conteneurs Docker en ligne sans compromettre la sécurité de leurs données. Reste toutefois à savoir s'ils se précipiteront vers Docker, mais Stata semble penser que le désir de maximiser l'usage de Yarn en conduira beaucoup dans cette direction.

Serge Leblal
Source

Contactez-nous

Contactez-nous

Nous construisons des solutions sur mesure pour nos clients.
Les informations recueillies à partir de ce formulaire font l’objet d’un traitement informatique destiné à la société Claranet afin de nous permettre de traiter la demande pour laquelle vous nous sollicitez. Les destinataires des données sont les services marketing et commerciaux du groupe Claranet. Conformément à la loi « informatique et libertés » du 6 janvier 1978 modifiée, vous disposez d’un droit d’accès et de rectification aux informations qui vous concernent. Veuillez-vous rapportez à la section des mentions légales de notre site internet pour de plus amples informations sur les modalités d’exercice de ces droits. Vous pouvez également, pour des motifs légitimes, vous opposer au traitement des données vous concernant.
3 + 6 =
Trouvez la solution de ce problème mathématique simple et saisissez le résultat. Par exemple, pour 1 + 3, saisissez 4.

Pour contacter un commercial

N'hésitez pas à nous appeler au 0826 007 656

Besoin de contacter le support technique ?
Nos équipes sont disponibles en 24x7x365.

Support Virtual Data Centre au 0826 007 653 (Numéro indigo)
Support Infogérance applicative au 0810 278 385 (Numéro indigo)
Support Colocation au 0826 007 653 (Numéro indigo)
Support Cloud Public en envoyant un mail à support