Bienvenue aux Mines Paristech
Bienvenue à MINES ParisTech
Newsletter International
Website
Théorie & Pratique
Vous êtes

webTV

Lecture

Conférence éthique et intelligence artificielle : Elise Berlinski

Lecture

Certificat exécutif : digital native, 3 questions à...

Lecture

Carlos Adrian Correa Florez, MINES ParisTech PhD, PERSEE center

Lecture

Certificat exécutif : digital native, 3 questions à...

Lecture

Lancement de la Chaire industrielle ANR TOPAZE

+ Toutes les vidéos

Partager

Interaction adaptative en réalité augmentée pour la maintenance industrielle.

Interaction adaptative en réalité augmentée pour la maintenance industrielle.

Adaptive interaction in augmented reality using machine learning

Proposition de thèse

Spécialité

Informatique temps réel, robotique et automatique - Paris

Ecole doctorale

Ingénierie des Systèmes, Matériaux, Mécanique, Énergétique

Directeur de thèse

PALJIC Alexis

Unité de recherche

Mathématiques et Systèmes

Contact
Date de validité

01/10/2020

Site Webhttp://www.spectraltms.com
Mots-clés

Réalité Augmentée, Apprentissage, Assistance, Machine learning, Analyse de comportement, Analyse de scène

Augmented reality, Learning, Assistance, Machine learning, Behavior analysis, Scene analysis

Résumé

Dans le contexte de la maintenance industrielle, ce sujet propose de mettre en place des méthodes d'interaction 3D en réalité augmentée dans deux cas. 1) Pour l'apprenant, connaitre son niveau de compréhension de la procédure industrielle et adapter le niveau d'assistance ou le scénario d'apprentissage en conséquence. 2) pour le formateur faciliter la création de scénarii d'apprentissage en proposant une sémantisation automatique de la scène réelle.

In the context of industrial maintenance, this thesis seeks to propose new interaction methods for two use cases. 1) for the learner, adapt assistance level or learning scenario to his understanding of the industrial task at hand. 2) for the trainer, help 3D scene construction by automatic semantization of the scene. In both cases, the use machine learning will be evaluated : automatically assess the level of understanding of the trainee, automatically recognize objects and their position in space.

Contexte

La réalité augmentée est un outil puissant pour l'assistance et la formation dans le contexte industriel. Ce sujet de thèse se place dans le cadre d'une collaboration entre la société Spectral TMS qui développe des solutions de réalité augmentée pour l'industrie (https://spectraltms.com/) et le centre de robotique de Mines ParisTech qui réalise ses recherches sur l'immersion et l'interaction en RV et RA, ainsi qu'en intelligence artificielle. L'objectif de la réalité augmentée pour l'assistance et la formation est de permettre une meilleure compréhension par les opérateurs de séquences d'opérations à réaliser sur des installations industrielles. Lors de l'usage de l'outil réalité augmentée l'opérateur suit des scénarii de procédures, en étant au cœur de son environnement de travail physique. Il reçoit une information enrichie sur les tâches et procédures qu'il doit apprendre, grâce aux instructions visuelles spatialement cohérentes présentant les points d'intérêt et objets à manipuler dans l'espace de travail. La démarche est celle du « learning by doing » en étant assisté d'informations adaptées à la progression de l'apprenant et au plus près de la situation réelle.
Le sujet s'intègre dans l'ensemble du parcours utilisateur depuis la création du scénario sur la plateforme à partir d'un mode opératoire existant par le formateur jusqu'à la réalisation de ce parcours par le formé. L'objectif global sera par conséquent de “faciliter la transmission des savoir-faire”. Nous étudions les points d'amélioration de la solution actuelle à travers les critères suivants : facilité d'implémentation du scénario pour le formateur, pertinence du scénario en réalité augmentée, rétention de l'information lors de l'expérience et intégration ergonomique de la solution dans un contexte industriel (sécurité et immersion).
Dans ce contexte, ce sujet de thèse cherche à améliorer deux aspects de l'outil : la création des scénarii, et l'aide à l'apprentissage. Le domaine de recherche du sujet est de faciliter l'interaction 3D en réalité augmentée dans ces deux cas en utilisant les techniques d'intelligence artificielle.

Encadrement

Il s'agit d'une thèse Cifre :
- Points toutes les 2 semaines avec le directeur de Thèse.
- Points Mensuels avec la société partenaire.

Mise en place d'une expérience / test utilisateurs par an. Rédaction de 4 articles de conférences, et un article de journal.

Domaine(s)

Réalité augmentée et Interaction 3D, Intelligence artificielle

Profil candidat

Profil général
• Ingénieur Grande Ecole apprécié ou Master Recherche
• Rigueur et autonomie
• Qualités de rédaction et de présentation à l'oral
• Anglais parlé et écrit (rédaction d'articles scientifiques)

Compétences requises
• Le candidat devra avoir des connaissances scientifiques dans au moins un des domaines : machine learning, réalité virtuelle, réalité augmentée, UX design, études utilisateurs.
• Compétences techniques demandées : programmation C# ou C++, la connaissance de moteurs de jeux (Unity 3D, UnrealEngine) est appréciée mais pas absolument requise au démarrage de la thèse.

General Education :
-Engineering School or Master
-Autonomous and rigorous
-Proficiency in synthesis, writing and oral expression
-Good English skills

Skills :
The candidate should have skills in one of these areas : machine learning, virtual reality, augmented reality, user experience design, user studies.
Techical skills : C# or C++ programming. Knowledge of game engines (Unity, Unreal) is useful but not mandatory to apply.

Résultat attendu

Nouvelles méthodes d'interaction et évaluations objectives associées.

Objectif

Mettre en place des méthodes d'interaction 3D en réalité augmentée dans deux cas. 1) Pour l'apprenant, connaitre son niveau de compréhension de la procédure industrielle et adapter le niveau d'assistance ou le scénario d'apprentissage en conséquence. 2) pour le formateur faciliter la création de scénarii d'apprentissage en proposant une sémantisation automatique de la scène réelle.

Références

[1] Hansberger, J. T., Peng, C., Mathis, S. L., Shanthakumar, V. A., Meacham, S. C., Cao, L., & Blakely, V. R. (2017, July). Dispelling the gorilla arm syndrome: the viability of prolonged gesture interactions. In International Conference on Virtual, Augmented and Mixed Reality (pp. 505-520). Springer, Cham.

[2] Mark Billinghurst, Adrian Clark and Gun Lee (2015), 'A Survey of Augmented Reality', Foundations and Trends in Human–Computer Interaction: Vol. 8: No. 2-3, pp 73-272. http://dx.doi.org/10.1561/1100000049

[3] Where to display? How Interface Position Affects Comfort and Task Switching Time on Glanceable Interfaces
Samat Imamov (Virginia Tech, USA), Daniel Monzel (Virginia Tech, USA), Wallace Lages (Virginia Tech, USA). IEEE VR Virtual Reality Conference, March 2020.

[4] Westerfield, G., Mitrovic, A. & Billinghurst, M. Intelligent Augmented Reality Training for Motherboard Assembly. Int J Artif Intell Educ 25, 157–172 (2015). https://doi.org/10.1007/s40593-014-0032-x

[5] Wang, M., Lyu, X., Li, Y. et al. VR content creation and exploration with deep learning: A survey. Comp. Visual Media 6, 3–28 (2020). https://doi.org/10.1007/s41095-020-0162-z

[6] https://niessner.github.io/Matterport/

[7] http://www.michaelfirman.co.uk/RGBDdatasets/

[8] https://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html#raw_parts

[9] Grégoire Dupont de Dinechin, Alexis Paljic. From Real to Virtual: An Image-Based Rendering Toolkit to Help Bring the World Around Us Into Virtual Reality. 2020 IEEE 6th Workshop on Everyday Virtual Reality (WEVR), Mar 2020, Atlanta, Georgia, United States. ?hal-02492896?

[10] Grégoire Dupont de Dinechin, Alexis Paljic. Demonstrating COLIBRI VR, an Open-Source Toolkit to Render Real-World Scenes in Virtual Reality. 2020 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), Mar 2020, Atlanta, Georgia, United States. ?hal-02492733?

Type financement

Convention CIFRE

Document PDF

https://www.adum.fr/download.pl?tk=zdfagmnw1ht3goi1eypw426i6rutc5l8

Retour à la liste des propositions

actualité

Enquête 1<sup>er</sup> emploi 2020

Formation Enquête 1 er emploi 2020 Toujours 100 % de réponses. L'enquête 1 er emploi du cycle Ingénieurs civils de MINES…
> En savoir +

8th International DHC+ Student Awards

Formation 8th International DHC+ Student Awards La 8 e cérémonie de remise des prix a eu lieu le 18 juin.…
> En savoir +

Mon doctorat en confinement

Formation Mon doctorat en confinement             des Initiatives pour poursuivre sa thèse pendant le confinement,…
> En savoir +

Sauver les êtres humains ou la croissance économique, les États face au dilemme

Formation Sauver les êtres humains ou la croissance économique,… L’idée d’attribuer une valeur monétaire à une vie…
> En savoir +

European Research Council : un succès pour Pierre Rouchon

Formation European Research Council : un succès pour Pierre… Protéger cohérences et intrications  Ces futures…
> En savoir +

+ Toutes les actualités

contact

Régine MOLINS
Direction de l'Enseignement
Service du Doctorat
> envoyer un mail

Plan du site
MINES
ParisTech

60, Boulevard Saint-Michel
75272 PARIS Cedex 06
Tél. : +33 1 40 51 90 00

Implantations
Mentions légales | efil.fr | ©2012 MINES ParisTech | +33 1 40 51 90 00 |