Fondamentaux de Spark Mixte : présentiel / à distance

Dernière mise à jour : 21/07/2023

Présentation

Cette formation vous permettra de maîtriser les concepts fondamentaux de Spark.

Objectifs

  • Comprendre les fondamentaux de Spark
  • Découvrir les différents modules de Spark
  • Manipuler des données avec Spark SQL

Programme

visuel

Présentation d'Apache Spark

  • Introduction et historique
  • Les langages de programmation supportés par Spark (Scala, Python et Java)
  • Comparaison avec l'environnement Apache Hadoop
  • Les modules de Spark (Spark SQL, Spark Streaming, MLlib, GraphX )

 

Resilient Distributed Dataset (RDD)

  • C'est quoi un RDD ?
  • Créer, manipuler et réutiliser des RDD
  • Accumulateurs et variables broadcastées
  • Utiliser des partitions

 

Manipuler des données structurées avec Spark SQL

  • SQL, DataFrames et Datasets
  • Les différents types de sources de données
  • Interopérabilité avec les RDD
  • Performance de Spark SQL
  • JDBC/ODBC server et Spark SQL CLI

 

Spark sur un cluster

  • Les différents types d'architectures : Standalone, Apache Mesos ou Hadoop YARN
  • Configurer un cluster en mode Standalone
  • Packager une application avec ses dépendances
  • Déployer des applications avec Spark-submit
  • Dimensionner un cluster

Public visé

  • Développeurs
  • Architectes

Modalités pédagogiques

Docaposte Institute propose plusieurs dispositifs pédagogiques adaptés aux apprenants :

 

  • Formation en présentiel
    • En groupe (inter-entreprises ou intra-entreprise)
    • En individuel (monitorat)
    • En journée ou en cours du soir (sur demande spécifique)
  • Formation en distanciel
    • Distanciel synchrone
    • Distanciel asynchrone

Prérequis

  • Bonnes connaissances du langage Python

Moyens et supports pédagogiques

  • Apports des connaissances communes.
  • Mises en situation sur le thème de la formation et des cas concrets.
  • Méthodologie d'apprentissage attractive, interactive et participative.
  • Equilibre théorie / pratique : 60 % / 40 %.
  • Supports de cours fournis au format papier et/ou numérique.
  • Ressources documentaires en ligne et références mises à disposition par le formateur.
  • Pour les formations en présentiel dans les locaux mis à disposition, les apprenants sont accueillis dans une salle de cours équipée d'un réseau Wi-Fi, d'un tableau blanc ou paperboard. Un ordinateur avec les logiciels appropriés est mis à disposition (le cas échéant).

Modalités d'évaluation et de suivi

En amont de la formation

 

  • Recueil des besoins des apprenants afin de disposer des informations essentielles au bon déroulé de la formation (profil, niveau, attentes particulières...).
  • Auto-positionnement des apprenants afin de mesurer le niveau de départ.

Tout au long de la formation

 

  • Évaluation continue des acquis avec des questions orales, des exercices, des QCM, des cas pratiques ou mises en situation...

A la fin de la formation

 

  • Auto-positionnement des apprenants afin de mesurer l'acquisition des compétences.
  • Evaluation par le formateur des compétences acquises par les apprenants.
  • Questionnaire de satisfaction à chaud afin de recueillir la satisfaction des apprenants à l'issue de la formation.
  • Questionnaire de satisfaction à froid afin d'évaluer les apports ancrés de la formation et leurs mises en application au quotidien.

Accessibilité

Nos formations peuvent être adaptées à certaines conditions de handicap. Nous contacter pour toute information et demande spécifique.

M'inscrire à la formation

Ajouter au panier
Inscription possible jusqu'à 10 jours avant démarrage formation

Prochaines Sessions

  • Désolé, cette formation n'est pas programmée pour le moment.

    Si vous êtes responsable formation, vous pouvez faire une requête pour l'organiser en INTRA dans votre entreprise.

Partager cette formation

Catalogue de formation propulsé par Dendreo,
Plateforme dédiée pour les OF