Habituellement, pour détecter des objets en trois dimensions, nos bidules utilisent plusieurs caméras (prenons par exemple feu le Kinect de Microsoft) ou demandent à l'utilisateur de bouger, comme c'est le cas pour certaines applications sur smartphone de scanner tridimensionnel.

 

Pourtant, une simple image 2D est porteuse d'informations quant à la structure des objets représentés dans l'espace, notamment via la présence des ombres et reflets. Au moyen d'un réseau de neurones, il est donc possible théoriquement de sélectionner ces informations pour reconstruire des modèles 3D en partant d'une image 2D. Ce théorique est passé pratique grâce à une équipe de recherche de chez NVIDIA, en partenariat avec l'université Washington de Saint Louis, l'université Simon Fraser et l'entreprise Hong-Kongaise SenseTime.

 

nvidia research 2d to 3d

 

La méthode générale correspond bien à l'air du temps : trouver une structure du réseau plus favorable à l'apprentissage de la tâche souhaitée, passer une poignée de jours avec une Titan X pour entraîner le bouzin et hop, le tour est joué. Pour cette application précise, le réseau est constitué de trois parties : une première va chercher les surfaces planes et leur profondeur par rapport à la caméra, une seconde qui va raffiner les régions détectées afin de supprimer les artefacts et optimiser les bordures, et enfin une troisième passe à base de réseau convolutionnels qui s'occupe de compacter les différents objets 3D générés afin de retrouver une structure quasi identique à l'image de base.

 

Les résultats sont assez impressionnants : certes, certains objets ne sont pas détectés, menant à des trous dans l'image reconstituée, et les frontières entres les différentes régions planes manquent encore de précision, mais les scènes sont parfaitement reconnaissables. Bientôt des applications pour le scanning d'objet à bas coût ? (Source : NVIDIA)

 

 

 Inférer un modèle 3D à partir une simple image 2D, voici la puissance du réseau de neurones présenté dans le dernier papier de la firme. 

Sur le comptoir, au même sujet

 
 
 
 
 

afficher plus de prixAffichez donc moi tout, nom de nom

Plus d'infos avec le comptoir de l'info

Voir plus de news
Les 15 Ragots
   
Les ragots sont actuellement
fermé, vous étiez prévenusfermés, pour ne pas réveiller le troll.