Développement d'un magasin de mode en réalité virtuelle sous Unity 3D. Développement d'une application multiplateforme pour le placement individualisé de motifs sur vêtements 3D.

Entwicklung eines Virtual-Reality-Modegeschäfts mit Unity 3D. Entwicklung einer plattformübergreifenden Anwendung für die individualisierte Platzierung von Mustern auf 3D-Kleidungsstücken.

The project focuses on a novel approach to generate and model assembly semantic meaning enclosed in product assembly features in order to optimize the preparation time of Virtual Reality simulations. The proposed approach is based on a set of heuristic rules to generate semantic KeyPoints (characterisation of a kinematic link or a mates) used to idealize an assembly model. This study identifies through a disassembly process a number of semantic rules in order to extract and translate assembly semantic features from CAD models. The proposed approach is based on two steps: features extraction and semantic recognition of the assembly features. In the first step, internal boundary representation (B-Rep) and mate extraction methods are used to retrieve the engineering meaning from assembly models using SolidWorks’ API functions. In the second step, a multilevel semantic rules model is used. The approach is demonstrated and validated on a use-case with a disassembly process scenario and adapted to Virtual Reality

Le projet se concentre sur une nouvelle méthode pour générer et modéliser des caractéristiques sémantiques (liaisons cinématiques notamment) dans les l'assemblage 3D numérique afin d'optimiser le temps de préparation des simulations en réalité virtuelle. L'approche proposée est basée sur un ensemble de règles heuristiques points clés cinématique nommés "KeyPoints" (caractérisations dans l'espace de lien cinématique ou d'un contact) utilisés pour idéaliser un modèle 3D dans un moteur physique. Cette étude identifie à travers un processus de désassemblage un certain nombre de règles sémantiques regroupé. L'approche proposée est basée sur deux étapes : l'extraction des caractéristiques d'assemblage dans un premier temps et l'exploitation de ces caractéristiques par le biais d'un moteur de règles dans un deuxième temps. Dans la première étape, les données B-Rep (représentation géométrique des limites internes d'un objet 3D) et les contraintes d'assemblage sont extraites au moyen d'une API SolidWorks et injectée en entrée d'Unity3D. Dans un deuxième temps, un modèle de règles sémantiques à plusieurs niveaux est utilisé pour identifier et générer de façon automatique les différents KeyPoints dans la scène Unity. Ces keypoint sont ensuite utilisé pour simuler l'ensemble des comportements et des actions attendues. L'approche est démontrée et validée sur un cas d'utilisation avec un scénario de désassemblage et adaptée à la réalité virtuelle.

Bei dem hier vorgeschlagenen Forschungsprojekt handelt es sich um das Projekt CIAO, ein intern bei Airbus Opération SAS entwickeltes Forschungs- und Entwicklungsprojekt. Ziel ist es, eine kollaborative Plattform für autonome Bewegungen zu schaffen, die zwei Laserscanner (radarkrank) nutzt, um positive oder negative Hindernisse zu lokalisieren und zu vermeiden. Die Plattform ist mit einem UR10-Arm ausgestattet, auf dem ein pneumo-elektrischer Schraubenkopf und ein kamerabasiertes Bildverarbeitungssystem implementiert sind, das in der Lage ist, den Arm zu erkennen und neu zu positionieren, um sicherzustellen, dass der Schraubvorgang korrekt ausgeführt wird.

Ziel dieses Projekts ist es, zur Automatisierung der Datenerfassung und -anreicherung für die Simulation beizutragen und die Roboterbahnen in 3D in Abhängigkeit von den auszuführenden Operationen und den mit der Umgebung verbundenen Zwängen zu simulieren. Dieses Projekt zielt auch darauf ab, die Wahrnehmung der Sensoren und das Verhalten der Steuerungen in der virtuellen Realität zu simulieren, um die erwarteten Reaktionen auf verschiedene Arten von Gefahren definieren zu können. Die verschiedenen Vorhersagemethoden (maschinelles Lernen und Deep-Learning) werden es ermöglichen, diese Verhaltensweisen zu automatisieren, insbesondere bei nicht identifizierten Verhaltensweisen.

Le projet de recherche proposé ici est le projet CIAO, un projet R&T développé en interne chez Airbus Opération SAS. Il s’agit de mettre en place une plate-forme collaborative pour effectuer des déplacements de façon autonome par l’utilisation de deux scrutateurs laser (radar sick) lui permettant de se localiser et de contourner des obstacles positifs ou négatifs. Cette dernière est équipée d’un bras UR10 sur lequel est implémenté une tête de vissage pneumo-électrique et un système de vision par caméra qui est capable de détecter et repositionner le bras pour la bonne exécution de l’opération de serrage des vis.

L’objectif de ce projet est de contribuer à l’automatisation de l’acquisition et de l’enrichissement des données pour la simulation, de simuler en 3D des trajectoires de robot en fonction des opérations à réaliser et des contraintes liées à son environnement. Ce projet a de plus pour but de simuler en réalité virtuelle la perception des capteurs et le comportement des contrôleurs, de manière à pouvoir définir les réactions telles qu’attendues, suivant différents types d’aléas. Les différentes méthodes de prédictions (machine-learning et deep-learning) permettront l’automatisation de ces comportements, et en particulier pour ceux non identifiés.

Im Rahmen des Kurses Modellierung, Simulation und haptisches Rendering wurde von DEC Industrie ein Virtual-Reality-Simulationsprojekt vorgeschlagen. DEC Industrie entwickelt Lehrmittel für Fachleute, die die Arbeitsbedingungen in einem industriellen Umfeld nachbilden sollen. Das Unternehmen bietet auch Virtual-Reality-Trainingssoftwarelösungen für Studenten an.
Die Anwendung Safety Factory fügt sich in diesen Kontext ein und zielt darauf ab, das Bewusstsein der Benutzer für Sicherheitsfragen in industriellen Umgebungen zu schärfen. Sie wurde mit der Unity 3D-Grafik-Engine entwickelt und ausschließlich auf dem Virtual-Reality-Headset Oculus Rift eingesetzt.
In diesem Bericht gehen wir zunächst auf die multimodalen Aspekte unserer Anwendung ein. Im zweiten Teil werden wir die simulationsbezogenen Elemente analysieren. Anschließend gehen wir genauer auf den Inhalt und die Modellierung ein. Schließlich werden wir die verschiedenen Ebenen beschreiben und ein Benutzerhandbuch vorstellen.

Projet de simulation en réalité virtuelle visant à reproduire les conditions de travail en milieu industriel. L’application Safety Factory est une application pédagogique ayant pour but de sensibiliser l’utilisateur aux problèmes de sécurité. Cette application a été développée sur le moteur graphique Unity 3D et déployé dans un casque de réalité virtuelle Oculus Rift.
 

Entwicklung einer Anwendung in gemischter und erweiterter Realität. Arbeitsergonomie - Analyse und Erkennung von Bewegungen

Projet de réalité mixte ayant pour but la prévention des Troubles Musculo-Squelettiques (TMS) au sein des entreprises. Développement de l’application ErgoWIN ayant pour finalité la mise en place de stratégies d’ergonomie du travail par le biais d’une simulation en Réalité Augmentée, déployée sur des lunettes Microsoft HoloLens. Utilisation d’outils de cotation ergonomiques avec la technologie Microsoft Kinect.

As part of the Modeling, Simulation and Haptic Rendering course, a virtual reality simulation project was proposed by DEC Industrie. DEC Industrie develops educational equipment for professionals, designed to reproduce working conditions in an industrial environment. The company also offers virtual reality training software solutions for students.
The Safety Factory application fits into this context, and aims to raise user awareness of safety issues in industrial environments. It was developed using the Unity 3D graphics engine and deployed exclusively on the Oculus Rift virtual reality headset.
In this report, we'll first look at the multimodal aspects of our application. In the second part, we will analyze the simulation-related elements. We'll then talk more specifically about content and modeling. Finally, we'll describe the different levels and present a user manual.

The project focuses on a novel approach to generate and model assembly semantic meaning enclosed in product assembly features in order to optimize the preparation time of Virtual Reality simulations. The proposed approach is based on a set of heuristic rules to generate semantic KeyPoints (characterisation of a kinematic link or a mates) used to idealize an assembly model. This study identifies through a disassembly process a number of semantic rules in order to extract and translate assembly semantic features from CAD models. The proposed approach is based on two steps: features extraction and semantic recognition of the assembly features. In the first step, internal boundary representation (B-Rep) and mate extraction methods are used to retrieve the engineering meaning from assembly models using SolidWorks’ API functions. In the second step, a multilevel semantic rules model is used. The approach is demonstrated and validated on a use-case with a disassembly process scenario and adapted to Virtual Reality

Development of a virtual reality fashion shop using Unity 3D. Development of a cross-platform application for individualised placement of patterns on 3D garments.

The research project proposed here is the CIAO project, an R&T project developed in-house at Airbus Opération SAS. The aim is to set up a collaborative platform for autonomous movement using two laser scanners (radar sick) to locate and avoid positive or negative obstacles. The platform is equipped with a UR10 arm on which a pneumo-electric screwdriving head and a camera-based vision system are implemented, capable of detecting and repositioning the arm to ensure that the screw tightening operation is carried out correctly.

The aim of this project is to contribute to the automation of data acquisition and enrichment for simulation, and to simulate robot trajectories in 3D as a function of the operations to be carried out and the constraints linked to its environment. This project also aims to simulate in virtual reality the perception of sensors and the behaviour of controllers, so as to be able to define reactions as expected, according to different types of hazard. The various prediction methods (machine-learning and deep-learning) will enable these behaviours to be automated, particularly for unidentified behaviours.

EN

Development of an application in mixed and augmented reality. Work ergonomics - Analysis and recognition of movements

Projet de recherche sur le développement de nouvelles méthodes d’interaction pour les applications de Réalité Virtuelle ou Augmentée. Développement sous Unity3D d’un logiciel capable d’estimer la position spatiale d’un téléphone pour offrir de nouvelles techniques de contrôles à un utilisateur équipé de lunettes AR.