Quand Comarch adapte la réalité augmentée aux interventions de terrain

Pour la plupart des amateurs de nouvelles technologies ou de jeux vidéo, la réalité augmentée (RA) et virtuelle (VR) reste une nouveauté utilisée simplement pour s’amuser ou pour attirer l’attention. Néanmoins, étant donné la complexité croissante des services, les défis posés par la collaboration entre employés et le manque de personnel qualifié, la RA est considérée par certains experts comme la future solution-clef aux problèmes actuels. Cela s’applique particulièrement bien à la gestion des interventions de terrain, où les employés sont dispersés sur différents sites et où la communication doit donc être efficace sur de longues distances.

Les possibilités offertes par les différentes approches de la réalité augmentée

Comme nous nous sommes rendu compte qu’environ 10 % de l’ensemble des tâches requièrent l’assistance d’experts plus qualifiés (et il y en a peu), nous avons décidé d’investir dans des technologies ayant recours à différentes formes de réalité augmentée. Néanmoins, avant de nous lancer dans cette aventure, nous avons étudié les capacités technologiques actuelles de la réalité virtuelle.

Nous avons ainsi découvert qu’il en existait trois types :

• La réalité augmentée (RA) – Elle génère des éléments virtuels et les superpose aux objets réels ou à l’environnement physique autour de l’utilisateur. Elle n’a qu’un but informatif et les interactions sont très limitées (p. ex : des informations en lecture seule). Les appareils nécessaires sont également plus simples. Elle est utilisée pour la navigation/les itinéraires et dans certains contextes précis, par exemple lors de sessions de shopping ou pour l’identification d’objets.
• La réalité virtuelle (VR) – Il s’agit d’une approche plus poussée qui génère un environnement virtuel au sein duquel l’utilisateur peut agir et interagir avec les objets. Elle requiert bien plus de puissance informatique et des technologies plus avancées. Elle est utilisée pour la simulation, les jeux vidéo ou les formations.
• La réalité mixte (MR) – Il s’agit de la technologie la plus avancée : l’environnement réel se mêle aux objets virtuels avec lesquels l’utilisateur peut interagir et qui interagissent eux-mêmes avec ce qui les entoure (p. ex. une lampe virtuelle sur une table bien réelle). Parmi les possibilités d’utilisation, on trouve des formations avec des hologrammes, des informations interactives ou encore la coopération avec des appareils bien réels. Il s’agit en fait d’une forme étendue de réalité augmentée.

La solution Comarch FSM et la réalité augmentée : le choix des appareils et de la plateforme de développement

Nous reposant sur nos 15 années d’expérience du marché, nous, Comarch, avons mené des recherches, en collaboration avec l’équipe Expérience utilisateur, afin de créer des modèles, des interfaces et des scénarios à appliquer dans le cadre de notre démonstration de faisabilité. L’objectif principal était de soutenir les techniciens de terrain par le biais d’une expertise à distance, d’une base de connaissances contextualisées et d’instructions, sans pour autant les submerger d’informations. Pour envisager un maximum de scénarios et acquérir le plus de connaissances possible dans le cadre de la mise en œuvre, l’équipe de développement Comarch FSM a décidé de se servir du dispositif Microsoft HoloLens et du moteur de jeu Unity.

En effet, Microsoft HoloLens représente l’une des technologies actuelles les plus avancées et est un dispositif indépendant, qui ne doit pas être associé à un ordinateur ou un appareil mobile. En outre, la communication avec l’interface peut se faire par des gestes. Des manettes supplémentaires ne sont donc pas nécessaires. L’autre avantage, c’est la possibilité de diffuser du contenu audio et vidéo en WiFi depuis la caméra et le micro intégrés. Cela permet ainsi une communication à distance et l’intégration à l’environnement de l’ingénieur. Il convient également de s’intéresser au suivi de la position, soit la capacité de l’appareil à déterminer et suivre la position exacte du dispositif placé sur la tête. Nombre d’autres solutions offrent « 3 degrés de liberté », ce qui signifie que l’utilisateur peut se déplacer en avant et en arrière, mais aussi regarder en haut, en bas, à gauche et à droite. Il s’agit là de l’approche la plus simple, disponible dans la plupart des casques de réalité virtuelle pour téléphones mobiles (tels que Google Cardboard ou Samsung Gear VR).

Néanmoins, si celle-ci vous permet d’évoluer dans un environnement virtuel à partir d’un point, le point de vue reste fixe. Pour offrir une expérience numérique plus naturelle et plus réaliste, l’appareil doit proposer « 6 degrés de liberté », également appelé « suivi de position » » ou « évolution dans l’espace ». Dans ce cas, le casque est non seulement capable de suivre les mouvements de tête de l’utilisateur, mais également sa position (ce qui offre des degrés de liberté supplémentaires pour traiter les mouvements de tangage, lacet et roulis). Des dispositifs tels que Microsoft HoloLens, Playstation VR ou encore Asus MR offrent cette possibilité de suivi.

Pour limiter la dépendance vis-à-vis d’un appareil, nous avons fait le choix de la plateforme Unity comme environnement pour visualiser le matériel interactif en deux et trois dimensions. Les facteurs déterminants pour notre choix ont été la popularité de la plateforme, les appareils qu’elle peut supporter et le fait de pouvoir utiliser le même code sur différentes plateformes.

La démonstration de faisabilité : l’application FSM pour les lunettes Microsoft HoloLens

Notre démonstration de faisabilité fonctionne sur deux modes complémentaires : avec un appareil ou avec un hologramme.

En mode « appareil », il est possible d’interagir avec un appareil bien réel, ce qui fournit au technicien des informations supplémentaires sur cet appareil ainsi que des conseils pour chaque action effectuée. Grâce aux connexions WiFi et Bluetooth, cette solution peut être étendue pour inclure la communication en temps réel avec l’appareil, l’enregistrement des étapes de travail et la synchronisation dans le cloud. Le casque et le micro intégrés permettent de recourir à la commande vocale en mains libres, donc de rendre possibles la vidéoconférence et l’assistance à distance.

Le deuxième mode génère un hologramme de l’appareil pour simuler l’interaction avec l’objet virtuel dans le cadre de formations. Étant donné que l’interface et le processus de navigation de l’hologramme sont identiques à ceux de l’appareil « réel », les techniciens peuvent avoir recours à ce mode pour se préparer avant d’exécuter réellement la tâche sur le terrain.


 

Les conclusions de la démonstration de faisabilité

L’application mise en œuvre a été présentée lors de divers événements et démonstrations de produits. Elle a attiré un large public et reçu des commentaires positifs. Nous avons également pu enrichir nos connaissances pratiques sur les réalités augmentée, virtuelle et mixte ainsi que sur la mise en œuvre de telles solutions. C’est sur cette base que nous pouvons conclure que les possibilités actuelles sont idéales pour des environnements contrôlés, à l’image des centres de formation, mais ne sont pas encore adaptées à la production. Au titre des inconvénients majeurs, nous avons noté les limites quant aux performances de ces dispositifs (comparables à celles d’un smartphone élaboré), le poids des appareils (en effet, il s’agit à chaque fois d’un ordinateur complet avec des capteurs, des caméras et des batteries installées dans le casque), les limites de la batterie, deux heures (ce qui est bien inférieur au temps passé sur le terrain par les techniciens) et la qualité de rendu des objets, bien éloignée de la réalité. Ainsi, l’ensemble de ces inconvénients ne justifie pas l’investissement dans une telle technologie.

La démonstration de faisabilité présentée ici fonctionnait avec la première version du dispositif MS HoloLens. La deuxième version, elle, a connu quelques améliorations. S’il semblait, à première vue, que la deuxième version de l’appareil était plus légère, il s’avère que les deux dispositifs ont presque le même poids. La différence se situe dans la localisation du centre de gravité, qui offre un meilleur équilibre sur la tête. La deuxième amélioration concerne la réactivité de l’interface utilisateur. En effet, la reconnaissance de gestes supplémentaires permet de réduire le temps d’adaptation à l’interface. Cependant, la qualité de rendu reste bien éloignée de la réalité. De plus, la durée de vie de la batterie n’a quasiment pas été augmentée. Espérons que ces aspects seront améliorés sur les prochains appareils grâce à des batteries plus légères, mais aux capacités plus importantes, à l’amélioration des capacités informatiques et de la qualité de rendu. 

La deuxième démonstration de faisabilité : la réalité augmentée pour les appareils mobiles 

Après avoir obtenu des retours positifs lors des démonstrations et avoir pu constater les avantages des solutions RA, nous n’avions qu’une envie : résoudre le problème le plus épineux, à savoir le prix de l’appareil. Nous avons alors pris la décision de transférer l’application sur des tablettes et des smartphones, qui sont des appareils que nos utilisateurs ont déjà à disposition puisque le personnel de terrain utilise déjà des applications Android et iOS au quotidien. Les dernières versions d’Android et d’iOS supportent parfaitement la réalité augmentée et ses fonctionnalités avancées telles que la reconnaissance des surfaces, qui permet à l’utilisateur de générer, par exemple, un objet virtuel qui tomberait d’une table bien réelle.

La deuxième démonstration de faisabilité pour smartphones et tablettes inclut la base de connaissances (une fonctionnalité Comarch FSM) qui fournit un accès facile et rapide aux documents enregistrés. Les appareils enregistrés dans la solution FSM peuvent être étiquetés grâce à un code QR. Partant, en activant la caméra sur l’application mobile, les employés de terrain peuvent lire les codes et obtenir un résumé contextualisé de l’appareil. En outre, lorsque l’on clique sur la RA générée, un pop-up affiche un écran spécifique reprenant tous les documents et informations liés à l’équipement, tels que les statuts de fonctionnement et les liens vers divers documents. Cette deuxième approche a suscité le même intérêt lors des démonstrations, mais est proposée à un prix réduit et offre plus de flexibilité dans son développement.

 
 

En résumé, la réalité augmentée pour les services de terrain : simple mode ou véritable solution ?

Une fois le marché inondé de solutions en réalité augmentée et virtuelle, utilisées notamment pour le divertissement et la formation, nous avons pu constater qu’elles n’offraient pas de réelle valeur commerciale pour les fournisseurs de services, même pour les fournisseurs de logiciels FSM. Les démonstrations de faisabilité nous ont permis de discuter des avantages et des inconvénients avec nos clients et de revoir nos postulats de départ. La dernière démonstration de faisabilité pour tablettes et smartphones semble davantage répondre aux attentes des fournisseurs de services, notamment en ce qui concerne l’assistance pour les employés moins expérimentés. De plus, cette solution s’avère moins onéreuse et offre la flexibilité de développement nécessaire aux entreprises. Nous sommes convaincus que les solutions RA peuvent apporter une réelle valeur ajoutée aux entreprises, à condition d’être adaptées à la réalité de celles-ci. Pour ce faire, il faudra prendre en compte les suggestions de nos clients et effectuer davantage de tests. Néanmoins, nous sommes ravis que Comarch relève ce défi.