Accueil / Développement avec HADOOP Cloudera
Développement avec HADOOP Cloudera
Durée : 3 jours
Tarif Inter : 1800 €
Tarif sur mesure : Nous consulter
Référence : 4DHA
Programme
Public & Pré-requis
Organisation
Présentation
Pour faire face à un volume croissant de données à analyser, et fournir aux internautes des résultats de recherche pertinents, le framework Hadoop voit le jour au milieu des années 2000.
Devant le succès rencontré par la solution, Hadoop passera chez Cloudera qui créera alors la distribution Hadoop la plus utilisée à ce jour.
Cette formation vous apprendra comment utiliser Hadoop Cloudera pour réaliser des traitements en temps réel avec de très gros volumes de données.
Objectifs
- Connaître HADOOP 2.0 et Hadoop Distributed File System
- Comprendre comment mettre en oeuvre le nouveau Framework YARN dans HADOOP 2.0
- Apprendre à programmer avec « MapReduce »
- Savoir optimiser une tache MapReduce en suivant les meilleures pratiques
- Être en mesure de créer des workflows avec Oozie
- Comprendre comment créer et éxécuter des requêtes Hive sur des données HDFS
- Créer des tâches MapReduce permettant d’analyser des données avec Pig
- Savoir débugger des programmes « MapReduce » pour les fiabiliser
Programme
-
Hadoop et Mapreduce
- Les technologies Hadoop
- Comment fonctionne « Hadoop Distributed File System » et « MapReduce »
- Comment développer des applications « MapReduce »
-
Tester les applications Hadoop
- Comment réaliser des tests unitaires d’applications MapReduce
- Comment utiliser des combinateurs MapReduce, des partitionneurs et des caches distribués
- Les meilleures pratiques pour développer et débugger des applications MapReduce
-
Mise en oeuvre avancée
- Comment mettre en œuvre l’entrée et la sortie des données dans les applications MapReduce
- Les algorithmes pour les principales tâches « MapReduce »
- Comment relier des ensembles de données dans MapReduce
- Comment Hadoop s’intègre dans le Data Center
- Comment utiliser les algorithmes d’apprentissage automatique de Mahout
- Comment Hive et Pig peuvent être utilisés pour développer rapidement des applications
- Comment créer des workflows importants avec Oozie