Formation Spark, Les fondamentaux du Big Data Mixed: In person / distance learning

• Comprendre les fondamentaux de Spark
• Découvrir les différents modules de Spark
• Manipuler des données avec Spark SQL

• Développeurs
• Architectes

• Bonnes connaissances du langage Python

Présentation d'Apache Spark

• Introduction et historique
• Les langages de programmation supportés par Spark (Scala, Python et Java)
• Comparaison avec l'environnement Apache Hadoop
• Les modules de Spark (Spark SQL, Spark Streaming, MLlib, GraphX )

Resilient Distributed Dataset (RDD)

• C'est quoi un RDD ?
• Créer, manipuler et réutiliser des RDD
• Accumulateurs et variables broadcastées
• Utiliser des partitions

Manipuler des données structurées avec Spark SQL

• SQL, DataFrames et Datasets
• Les différents types de sources de données
• Interopérabilité avec les RDD
• Performance de Spark SQL
• JDBC/ODBC server et Spark SQL CLI

Spark sur un cluster

• Les différents types d'architectures : Standalone, Apache Mesos ou Hadoop YARN
• Configurer un cluster en mode Standalone
• Packager une application avec ses dépendances
• Déployer des applications avec Spark-submit
• Dimensionner un cluster

Docaposte Institute propose plusieurs dispositifs pédagogiques adaptés aux apprenants :

• Formation en présentiel
• En groupe (inter-entreprises ou intra-entreprise)
• En individuel (monitorat)
• En journée ou en cours du soir (sur demande spécifique)
• Formation en distanciel
• Distanciel synchrone
• Distanciel asynchrone

• Alternance d'apports théoriques et de mises en pratique contextualisées.
• Progression pédagogique structurée, de la compréhension à la mise en œuvre opérationnelle.
• Pédagogie immersive favorisant une mise en application immédiate des compétences.
• Formation interactive et participative s'appuyant sur des ateliers pratiques, études de cas et échanges collectifs (+ 60 % du temps de formation.)
• Séquences pédagogiques rythmées et évaluations formatives régulières pour renforcer l'ancrage des apprentissages.
• Supports de cours, ressources documentaires et références mis à disposition par le formateur

En amont de la formation (évaluation en ligne dans l'extranet apprenant)

• Recueil des besoins et des attentes des participants.
• Auto-positionnement permettant d'évaluer le niveau initial des apprenants.

Tout au long de la formation

• Évaluations continues réalisées par le formateur travers des questions orales, exercices, QCM, études de cas et mises en situation pratiques.
  
  

À l'issue de la formation (évaluations en ligne dans l'extranet apprenant)

• Auto-positionnement afin de mesurer l'acquisition des compétences visées.
• Validation de l'acquisition des compétences par le formateur
• Questionnaire de satisfaction « à chaud » à l'issue de la formation
• Questionnaire de satisfaction "à froid", 45 jours après la formation afin d'évaluer l'ancrage des acquis et leur mise en application en situation professionnelle.

• Admission sans disposition particulière