Cours AMS-I03 : Programmation hybride et multi-coeurs [2023/2024]

Organisation

Horaire : Cours et TD/TP le vendredi matin [Planning détaillé]
Enseignant :
1. Marc Tajchman, CEA, DEN/DM2S/STMF/LMES

Prérequis

Il est conseillé aux étudiants qui souhaitent suivre ce cours, d'avoir déjà utilisé des machines de calcul sous linux, les outils standards (shell, éditeurs, etc) et les outils de progammation (tels que compilateurs, cmake, make, débogeurs, etc) disponibles dans cette plateforme.

Les exemples et exercices ont été testés sur le cluster Cholesky, mais devraient fonctionner sur d'autres environnements (linux, macOs ou windows sur machine personnelle) à condition d'installer des outils adéquats. Ne pas hésiter à poser des questions en cas de soucis.

La connaissance d'un langage de programmation utilisé dans le domaine scientifique, de préférence C++ (les notions de C++ nécessaires sont de niveau basique), est indispensable pour effectuer les travaux pratiques demandés. A nouveau, en cas de difficultés, ne pas hésiter à poser des questions.

Enfin, on supposera que les étudiants ont de bonnes notions en programmation parallèle avec MPI, obtenues par exemple en suivant Cours AMS301 - Calcul Scientifique Parallèle.

Programme du cours

Le programme ci-dessous est indicatif, il est susceptible de légères adaptations. On ajoutera au fur et à mesure de l'avancement du cours, des références sur les supports de cours et les fichiers sources des exercices et TP.

Quelques conseils et remarques concernant les TPs et exemples

Rappels sur les architectures des machines et différents types de programmation parallèle (1/2 séance)
Support de cours : Introduction et Rappels d'architecture des ordinateurs
Optimisation de la programmation séquentielle (1/2 séance)
- Mémoire cache des machines.
- Notions de localités spatiale et temporelle.
- Utiliser les possibilités du processeur.
- Influence sur l'efficacité des algorithmes.
- Exemples.
- Support de cours : Optimisation de la programmation séquentielle et exemples (format tar + gzip, format zip)
Programmation multi-threads (2 séances).
- Séance 1: notions de base (support de cours : Programmation multi-threads (partie 1))
- Séance 2: techniques de programmation multi-threads
Programmation hybride multi-noeuds - multi-coeurs .
- Support de cours : Programmation hybride (partie 1)
- TP 2: Enoncé et code source à modifier/compléter: format tar+gzip, format zip
- TP 2: code source à modifier/compléter (mise à jour des scripts de lancement sur Cholesky): format tar+gzip, format zip
- TP 1: code source complété (exemple de solution) format tar+gzip, format zip
Programmation des GPU (Graphics Processing Unit) (6 séances).
- Introduction aux GPUs et à leur modèle de programmation.
- Les outils principaux Cuda, OpenCL (fonctionnalités, avantages/inconvénients).
- Le langage Cuda, notions de base (document réalisé par la société NVidia)
- Exemples (format tar+gzip)
- Quelques notions de performances dans la programmation avec Cuda des GPUs: illustration sur des exemples (format tar+gzip et format zip)
- Environnement de programmation autour de Cuda: outils et librairies disponibles
  - Un ensemble de librairies spécialisées : GPU-Accelerated Libraries
  - Exemple : la librairie Thrust (présentation)
- Notion de foncteur en C++ (ou objet-fonction)
- Un outil visant la portabilité sur plusieurs modèles de programmation: Kokkos (présentation)
- Exemples commentés illustrant Thrust et Kokkos (format tar+gzip, format zip)
- TP 3: Enoncé et code source à modifier/compléter : format tar+gzip, format zip
- Programmation Multi-GPU
  - Plusieurs GPU associés au même CPU (combinaison Cuda + OpenMP): présentation.
  - Plusieurs GPU associés chacun à un CPU. (combinaison Cuda + MPI): présentation.
  - Exemples (format tar+gzip)