Data-driven 3D reasoning for augmented reality

Download or read book Data-driven 3D reasoning for augmented reality written by Mathieu Garon and published by . This book was released on 2022 with total page 0 pages. Available in PDF, EPUB and Kindle. Book excerpt: La réalité augmentée (RA) est un paradigme informatique non conventionnel dans lequel l'utilisateur interagit naturellement avec des ordinateurs en visualisant des informations en 3D et en interagissant physiquement avec du contenu virtuel. L'insertion de contenu 3D dans l'environnement nécessite que l'appareil informatique mesure le monde qui nous entoure. Les capteurs sont cependant physiquement limités et renvoient des informations brutes incomplètes ou complexes. Distiller ces données en concepts plus abstraits est donc nécessaire pour permettre de raisonner sur des concepts tels que la géométrie ou l'interaction de la lumière avec la scène. Dans cette thèse, nous explorons une question critique dans le contexte de la RA : comment les caméras de qualité grand public et les approches basées sur les données peuvent-elles être combinées pour parvenir à un raisonnement 3D du monde pour les problèmes fondamentaux de la RA ? Nous répondons à cette affirmation en nous concentrant sur trois objectifs importants couramment rencontrés dans la plupart des applications de réalité augmentée. Tout d'abord, nous estimons une pose 3D robuste de diverses instances d'objets dans des séquences temporelles à l'aide d'une seule caméra RGB-D. Notre nouvelle méthode d'apprentissage par réseaux profond permet une estimation robuste et précise de la pose malgré la présence d'occlusion. De plus, nous améliorons la stratégie d'évaluation de suiveurs d'objets en six degrées de libertés avec une méthodologie méticuleuse et un nouvel ensemble de données. Nous démontrons que l'utilisation du système de coordonnées de l'objet estimé nous permet d'éffectuer le rendu de contenu virtuel sur des objets inanimés. Deuxièmement, nous détectons les articulations du haut du corps en 3D à l'aide d'un casque de réalité virtuelle muni de plusieurs caméras pour améliorer les interactions entre le contenu humain et virtuel. Notre méthode tire partie des multiples caméras à large champ de vision sur l'appareil pour estimer une position 3D précise des articulations du corps de l'utilisateur. L'architecture du réseau neuronal utilise explicitement la géométrie projective de chaque caméra pour estimer les caractéristiques 3D pouvant être utilisées lors de la régression des positions des différentes articulations ainsi que d'autres tâches telles que la segmentation du corps. Nos expériences démontrent que l'utilisation de sources de supervision faibles améliore la précision du suiveur tout en permettant de collecter des données qui ne contiennent pas de position d'articulation 3D en vérité terrain. Enfin, nous proposons une méthode pour raisonner sur des conditions de lumière variant dans l'espace à partir d'une seule image couleur. Estimer uniquement l'éclairage global n'est pas précis lorsque les sources lumineuses sont proches du sujet et lorsque les objets de la scène occultent les sources lumineuses, un scénario courant dans les scènes d'intérieur. Notre méthode prend une image couleur et une coordonnée d'image 2D comme entrée pour estimer une représentation harmonique sphérique de la lumière à ce point de la scène. Nous montrons que les prédictions sont cohérentes avec les sources de lumière 3D et l'occlusion. La méthode est également une solution en temps réel en utilisant une architecture légère et des harmoniques sphériques pour effectuer des rendus rapidement. Chacun de ces objectifs est soutenu par des expériences approfondies et des analyses de résultats et, espérons-le, aide à combler le fossé vers de meilleures expériences utilisateur en RA.