Avant la fin de l’année scolaire, les duchess organisent un dernier hands-on, consacré a Apache Hadoop ! Les entreprises sont aujourd’hui amenées à manipuler de plus en plus de données. Dans de nombreux cas elles restent peu voir pas inexploitées et la valeur potentielle qui y résidait est ainsi perdue. C’est un fait, manipuler plusieurs dizaines de Go de données s’avère souvent laborieux et mène en général à limiter les traitements aux plus critiques.

Dans cet atelier vous allez découvrir Hadoop, un outil dont la popularité grandissante témoigne du besoin insatisfait en la matière. Hadoop permet d’effectuer un traitement sur des données de manière distribuée sur plusieurs machines afin de ramener son temps d’execution dans des bornes raisonnables. Vous pourrez ainsi vous exercer à l’écriture de jobs MapReduce en Java dans un premier temps. Puis, nous étudierons comment il est possible d’améliorer la productivité des développements de traitements distribué en utilisant Pig, un langage de plus haut niveau qui se traduit automatiquement en jobs MapReduce pour Hadoop.

 

Ce Hands-On est pour vous si :

  •  vous connaissez bien Java,
  •  vous connaissez ou non Hadoop,
  •  vous souhaitez être opérationnel rapidement

Installation pour le Hands-on Hadoop

Même si le wifi sera présent sur place, il est préférable d’arriver au Hands-on avec un environnement de développement opérationel. Vous avez besoin d’avoir sur votre poste Eclipse ou autre, ainsi que maven. De plus, il faut installer Hadoop: - téléchargez la version d’Hadoop 0.20.2 ici: https://ccp.cloudera.com/display/SUPPORT/CDH3+Downloadable+Tarballs Si vous utilisez Windows, il faut faudra en plus installer cygwin. Cygwin vous permettra de lancer les job Hadoop. Le plus simple est de mettre votre dossier Hadoop dans le répertoire local de cygwin.Enfin il faut installer PIG: - télécharger le tar.gz ici: https://ccp.cloudera.com/display/SUPPORT/CDH3+Downloadable+Tarballs

N’oubliez pas :

  • d’amener votre portable. Le hands on s’effectuant en binôme, un pour deux peut suffire.
  • de préparer votre environnement de dev.

Le Hands On sera animé par Ludwine Probst et Michael Figuiere.

Ludwine est consultante chez So@t. Elle est actuellement en mission chez voyages-sncf.com, où elle fait partie de l’équipe de maintenance sur un projet middleware développé en Java.

Michaël est ingénieur et developer advocate chez DataStax, l’éditeur en charge du projet Apache Cassandra. Il est spécialisé dans les problématique de stockage et de traitement distribué et intervient notamment sur des sites Web à fort trafic. A son aise tant avec les environnements Java entreprise qu’avec les technologies de plus bas niveau, il est spécialisé dans les architectures distribuées et les technologies innovantes telles que NoSQL, les moteurs de recherche, ou encore le big data.

La soirée aura lieu le mardi 26 juin de 19h30 à 23h00 dans les locaux de So@t , qui nous héberge et nous offre le repas. Il suffit de sonner à l’interphone, et quelqu’un viendra vous ouvrir.

Vous pouvez vous inscrire dès à présent sur Eventbrite.

Duchess France remercie so@t pour son accueil.

soat