Logo ENSTA

3A - Parcours Robotique / ROB 317

"Vision 3d"

Programmation 2024-2025


Professeurs :
  • Antoine MANZANERA (ENSTA / U2IS)
  • François GOULETTE (ENSTA / U2IS)

Chargé de TD :

  • Marwane HARIAT (ENSTA / U2IS)

Modalités de contrôle des connaissances :

  • Comptes-rendus de 2 TPs + 1 Contrôle écrit

Ce cours présente les concepts, algorithmes et techniques utilisés en Vision par ordinateur pour reconstruire la géométrie 3d d'une scène, une fonction essentielle à la navigation des robots, qu'elle soit réactive (éviter les obstacles, trouver la voie praticable) ou planifiée (cartographier un environnement). Au-delà des robots, cette fonction est également utilisée en Géographie numérique (construire un modèle numérique de terrain) ou en urbanisme (construire la maquette numérique d'un quartier ou d'un bâtiment).

Les capteurs 3d spécifiques sont présentés (d'abord les différentes technologies de caméras 3d, puis les Lidar pour l'acquisition de nuages de points), cependant l'accent est mis dans ce cours sur les méthodes de reconstruction 3d à partir de vidéos RGB monoculaires.
Les approches analytiques font l'objet de 2 séances, où l'on aborde la géométrie multi-vues des caméras, et l'estimation des homographies et de la matrice fondamentale.
Une séance est dédiée aux approches par apprentissage, permettant de prédire une carte de profondeur à partir de vidéos monoculaires avec des réseaux profonds, avec ou sans vérité terrain.
Une fois obtenu un nuage de points 3d pour chaque pose de capteur (avec un  Lidar, ou bien avec une carte de profondeur estimée), finaliser la reconstruction suppose de filtrer, simplifier, et mettre en correspondance differents nuages, c'est l'objet de la partie traitement et analyse des nuages de points.

Ce cours s'appuie sur les connaissances de base en images (MI204) qui en forment les pré-requis :
https://perso.ensta-paris.fr/~manzaner/Cours/MI204/

CRÉNEAU
  DESCRIPTION DE LA SÉANCE
PROFESSEUR RESSOURCES
Jeudi 12/9/24
9:00--12:15
  • Perception de la 3d dans les systèmes biologiques et Co-conception des capteurs 3d : Indices naturels de perception de la profondeur ; Capteurs actifs : Temps de vol et Lumière structurée ; Capteurs passifs : Plénoptique, Depth from defocus, Pupilles codées,...
Antoine MANZANERA
Jeudi 19/9/24
9:00--12:15
  • 3d Analytique 1 : Géométrie projective, Matrice caméra, Homographies, Stéréovision idéale.
  • TP : Estimation d'homographie et construction de panoramas
Antoine MANZANERA
Jeudi 26/9/24
9:00--12:15
  • 3d Analytique 2 : Stéréovision et multi-vues, matrice fondamentale et son estimation.
  • TP : Estimation de matrice fondamentale
Antoine MANZANERA
Jeudi 3/10/24
9:00--12:15
  • 3d par apprentissage : Prédiction de cartes de profondeur à partir de vidéos monoculaires, Approches auto-supervisées, Gestion des objets mobiles
  • TP : Prédiction de cartes de profondeur par apprentissage profond.
Antoine MANZANERA
 Marwane HARIAT
Jeudi 17/10/24
9:00--12:15
  • Traitement de nuages de points : Capteurs Lidar, Filtrage, Recalage
François GOULETTE
Jeudi 24/10/24
9:00--12:15
  • Analyse de nuages de points : Segmentation
François GOULETTE
Jeudi 7/11/24
9:00--12:15
  • Examen écrit / Seul document autorisé : une feuille A4 de notes de cours.
  • Finalisation des TPs à rendre
Antoine MANZANERA
Marwane HARIAT