I - CONTEXTE :

1. Concepts de désassemblage en réalité virtuelle

La génération automatique de la sémantique des assemblages réalisés en CAO est un sujet qui a été fortement abordé au cours des dernières décennies. Les techniques utilisées dans la littérature sont différentes, notamment en fonction du format des objets 3D analysés, qui sont représentés par leurs surfaces (B-Rep) ou par leurs volumes (CSG) [4]. En général, on distingue trois catégories principales de méthodes, à savoir : les méthodes basées sur la géométrie, les méthodes basées sur les graphes et les méthodes basées sur les caractéristiques [5]. 

2. Approches basées sur les caractéristiques (features)

Une revue de la littérature montre que, bien qu'il soit possible de reconnaître certaines caractéristiques de fabrication en considérant simplement les propriétés géométriques locales des composants, la détection de propriétés fonctionnelles plus complexes exige que le modèle géométrique soit considéré sous un angle plus large, qui couvre également l'interaction entre les différents composants.

Pour générer des liaisons mécaniques à partir de modèles 3D, il est nécessaire de représenter les caractéristiques d'assemblage (assembly features). Les caractéristiques d'assemblage décrivent la relation entre les composants d'un groupe d'assemblage. Une caractéristique est définie ici comme "une forme partielle ou une caractéristique de produit qui est considérée comme une unité et qui a une signification sémantique pour la conception de l'assemblage, la planification du processus ou la fabrication"[6]. Il existe de nombreuses approches pour extraire ou reconnaître les caractéristiques sémantiques dans les modèles de CAO. Hasan et Wikander [7] distinguent trois approches : les approches internes, les approches externes et les approches basées sur l'ontologie. Dans les méthodes internes, l'interface de programmation d'applications (API) du logiciel de CAO est utilisée pour extraire les informations topologiques et géométriques relatives à une pièce ou à un assemblage. Dans les méthodes externes, un fichier de modèle CAO est exporté dans un format de données neutre comme par exemple le format STEP-AP 214. D'autres travaux comme ceux de C.M. Costat [8] se concentrent sur l'approche interne pour générer la planification des séquences d'assemblage. Une autre solution de A. Neb [2] propose de combiner des approches externes avec des approches internes pour obtenir les caractéristiques directement à partir du modèle d'assemblage 3D. D'autres auteurs utilisent des approches basées sur l'ontologie pour exploiter les informations géométriques et de forme, mais ces méthodes ne seront pas abordées ici.

Figure 6. Diagramme des classes de caractéristiques de forme (formfeature classes)

3. Points clés cinématiques (Keypoints) : Principales spécifications des moteurs physiques

Pour assurer le processus de désassemblage dans un monde virtuel, des moteurs physiques sont utilisés. Ces moteurs fournissent une simulation approximative de certains systèmes physiques tels que la dynamique des corps rigides, la dynamique des corps mous ou la dynamique des fluides. Il existe de nombreux moteurs physiques sur le marché, tels que Bullet, PhysX, ODE ou XDE. Sachant que notre étude se concentre sur la RV, nous avons décidé d'utiliser à la fois PhysX et XDE qui sont des moteurs de cinématique directe bien adaptés. XDE Physics est un moteur physique interactif qui offre une détection précise des collisions, une dynamique multi-corps et du rendu haptique [9]. PhysX, quant à lui, est un moteur physique multiplateforme évolutif offrant les mêmes fonctionnalités et déjà intégré dans certains des moteurs de jeu les plus populaires, notamment Unreal Engine et Unity3D. XDE et PhysX offrent tous deux une interface de programmation simple où les fonctions d'assemblage peuvent être utilisées et facilement mises en œuvre. Pour calculer la dynamique, la plupart des moteurs physiques précédemment cités ont la capacité de s'appuyer sur des "caractéristiques ponctuelles" (point features) spécifiques dans le modèle d'assemblage, ce qui leur permet de raisonner sur les liens cinématiques plutôt que sur les collisions. Ces "caractéristiques ponctuelles" sont appelées "points clés" (KeyPoints) [10]. Un KeyPoints (KP) peut être défini comme un point de référence dans l'espace associé à une pièce d'un assemblage qui caractérise une liaison cinématique ou une contrainte [Fig. 2]. Les KP sont spécifiés par les algorithmes de reconnaissance selon certaines bases mathématiques ou règles spécifiques.

II - RECONNAISSANCE ET EXTRACTION DES CARACTERITIQUES (FEATURES) :

1. Extraction de caractéristiques à partir de modèles CAO

To solve data exchange between CAD (design and other software two extraction framework were developed, following the approach of internal B-rep CAD analysis. A first framework has been developed to extract the features from the B-Rep topology. Open CASCADE technology (OCCT) was used to extract these features from a step file (AP 242). The resulting dataset describes the different B-Rep shells of the model and all the associated data namely: transformation matrix, nature of the surfaces (plane, cone, cylinder, b-spline, etc.) and basic geometry characteristics (normal, radius, axis, orientation, bounding-box, center of mass and inertia). In order to describe VR behaviour of a product and identify the symbolic relationships between parts a second framework was created to extract the different primitive mates from a SW CAD assembly (all assembled). Those mates were extracted trough a SW API. The resulting mates dataset combined with the previous B-Rep dataset was finally imported in Unity3D to be exploited with a physics engine.

III - SEMANTIC RULES ENGINE:

1. Definition:

Based on input from CAD dataset recognition stage above an assembly design Semantic Rules Engine (SRE) is proposed. This SRE describes a novel approach based on features recognition and detection rules to model assembly semantic meaning. The proposed SRE, is a decomposition into three semantic levels (or layers) inspired by Hasan work [13], namely: Geometric Level, Kinematic Level and Behaviour Level.

• On the Geometric Level regroups two type of features : Shell Feature and Form Features. Shell Feature are related to B-Rep entities extracted from the CAD modeller in order to detect specific surface shape for each assembly part. These shell features are then analysed according to simple heuristic rules based on the analysis of conventional naming or conventional geometric configuration (nearest neighbours, shell dimension or symmetry axis). This set of rules results in a form classification thus called Form Features (e.g., hole form, cylinder form, thread form, etc.).

• On the Kinematic Level, mating features are further analysed in order to determine joining features. Each imported mates is linked to two entities that corresponds to part in the assembly. The first entities represents the origin part where the mates is attached and the second entities represents another targeted part giving a first assembly
  knowledge for potential Joining Feature between them.

• Lastly, Behaviour Level regroups all the behaviour rules aimed to detect applicationspecific features whose semantics are carried by KeyPoints. Those KPs are classified into three different types. Handling KP firstly represents position on parts’ surface where object can be grabbed by user hands or tools. Interest KP then defines specific positions inside parts where a kinematic joint exists. Lastly, Transition KP describes specific coordinates in parts where mates state and related degrees of freedom (DOF) can change according the part position in assembly at a given time.

Figure 3. Multi-level decomposition of generated semantic data

The objectives of this SRE is to reproduce with the machine the recognition mechanism of a human engineer. Our approach differs from other methods in the scientific literature by its effectiveness to be applicable in real time. Its interest for the application in VR is that it makes possible to set up aids for the immersed user such as position ghosts, movement indicator or even part snapping close to their final position.

2. Decision tree :

Figure 3. Rules priority diagram

3. Detection of possible matches :

Once the assembly has been enriched by the imported constraints and the newly generated interfaces from the B-REP data, new rules are defined to exploit this information and identify possible kinematic pairs. These potential links are then visualised in the Unity prototype using a colour code. Red to identify potential contact and green to identify potential interfaces.

During this stage, performance tests were carried out by comparing the detection of interfaces using semantic rules and by comparing this method with a simple detection of distance between surfaces using the PhysX engine (Figure ). The execution of scripts based on the SRE took on average half the time of scripts based on the PhysX engine.

Hypothesis: 
Analysing possible matches in post-processing should be more efficient than doing it dynamically and, above all, less greedy in terms of resources in order to avoid possible slowdowns during immersion in VR.
 

IV - RULES FOR GENERATING KINEMATIC LINKS AND POINTS:

V - USE CASE:

To experiment the SRE, the use-case of a complex Honda engine CFR250X modeled in SW was chosen. The objective was to redo the complete disassembly process of a 3D model to compare our automatic approach with manual VR preparation methods. To identify the necessary semantic links inside the engine model, a unique disassembly sequence scenario has been defined following the Honda’s official manual [Fig 1].

Based on this scenario, a "control sample" was prepared in a "standard" manual way where each kinematic link and each KP have been configured manually through the physic engine interface in Unity3D. We then tried to achieve a similar preparation process using the automatically generated feature and KPs from our SRE.

To describe in a more details the behaviour of our SRE on this specific use case, we will focus on the screws and their disassembly sub-process. The SRE starts by analysing each B-Rep data previously extracted and loads the Shell Features. Then the potential class (belong percentage) of the current part is deducted according to its geometry (nature of shell, positions and bounding boxes) as well as its specific naming rules in this case the term “bolt” used multiple time for each screw of the model. While the object class is identified, the SRE uses the mates data to deduce the type of joint between the screw and the part in contact with this latter. Then the SRE generate the KP according to the nature of the joints, the position of the mates in the part and lastly the nature of the surrounding shells. For every screw three KP are generated. A first Transition KP is instantiated at the extremity of the thread, which will determine the screw DOF according to its position. Then an Interest KP is generated at the position of the coincident mates and on the concentric mate’s axis to describe the helical joint. Lastly, a Handling KP is generated to specify where the ratchet wrench tool should be position on the screw to be disassembled [Fig 2].

VI - RESULTS:

The process time to prepare a VR scene in a manual way was estimated at five days, approximately 40 hours of preparation time (human time). The results obtained using our SRE were in accordance with the control sample and the positions and natures of about 60% of the generated KPs appeared to be exact (71 well generated KPs on 117 for an assembly containing 45 parts : 81% Interest KPs, 75% Handling KPs and 33% Transition KPs). Using the SRE allowed us to prepare the scene in about 8 hours and reduced the engineering time by 80%.

III - REFERENCES:

1. Hasan, B., Wikander, J.: Features Extraction from CAD as a Basis for Assembly Process Planning, In: DoCEIS, pp 144-153, (2017)

2. Neb, A.: From 3D product data to hybrid assembly workplace generation using the AutomationML exchange file format, (2019). https://doi.org/10.1016/j.procir.2019.03.011.

3. Saniuk, S.: Personalization of Products in the Industry 4.0 Concept and Its Impact on Achieving a Higher Level of Sustainable Consumption, In: Energies, vol. 13(22), pp. 5895 (2020). https://doi.org/10.3390/en13225895.

4. Piegl, L., Tiller, W.: The NURBS Book, Springer Science & Business Media, (1997)

5. Tangelder, A.: Survey of content based 3D shape retrieval methods. Multimedia tools and applications, 39(3), pp. 441–471, (2008). http://doi.org/10.1007/s11042-007-0181-0.

6. Hasan, B.: Product Feature Modelling for Integrating Product Design and Assembly Process Planning, In: IJENS, vol.4 (10), (2017).

7. Hasan, B., Wikander, J.: A review on Utilizing Ontological Approaches in Integrating Assembly Design and Assembly Process Planning (APP), In: IJME vol.4 (11), (2017).

8. Costa, C.M.C.: Automatic Generation of Disassembly Sequences and Exploded Views from SolidWorks Symbolic Geometric Relationships, In: ICARSC(18th) (2018).

9. Merlhiot, X.: XDE Physics: https://www.researchgate.net/project/XDE-Physics-multibodydynamics- with-intermittent-contacts-and-flexible-bodies, last accessed 2021/07/24.

10. Spezialetti, R., Salti, S.: Performance Evaluation of 3D Descriptors Paired with Learned Keypoint Detectors. In: AI, vol.2, pp. 229–243, (2021). https://doi.org/ 10.3390/ai2020014.

11. Liu, Z., Tan, J.: Constrained behavior manipulation for interactive assembly in a virtual environment
In: Advanced Manufacturing Technology, vol.32, pp.797-810, (2007)

12. Bourdot, P.: VR–CAD integration: Multimodal immersive interaction and advanced haptic
paradigms for implicit edition of CAD models, (2008).