Cet article a été rédigé par Pierre-Luc Lapointe, directeur de la R&D et de la conception XR chez StellarX.
L’IA grandit en popularité, faisant concurrence à des termes tels que la XR et l’informatique spatiale. Toutefois, les experts s’accordent à dire que ces technologies émergentes ne s’affrontent pas; elles convergent plutôt vers un nouveau paradigme. L’IA rend les outils XR plus puissants et plus accessibles, alors que la XR permet aux applications d’IA de résoudre des problèmes autrement insolubles. Les milieux professionnels sont un excellent candidat pour bénéficier de ce combo.
La synergie entre la réalité virtuelle et l'intelligence artificielle est naturelle ; d'une certaine manière, les technologies de la réalité virtuelle et de l'intelligence artificielle ont le potentiel d'étendre le corps et l'esprit en augmentant nos capacités perceptives et cognitives. Cette convergence transcende les écrans traditionnels, faisant du corps et de l'esprit de nouvelles interfaces informatiques. Les modèles d'IA avancés dotés de capacités multimodales sont idéaux pour les appareils XR équipés de capteurs de vision, audio, de mouvement et tactiles. Cette combinaison peut permettre des expériences immersives, augmentées et contextuelles qui améliorent la prise de décision, la formation, la sécurité et l'efficacité opérationnelle sur le lieu de travail.
Pourtant, l’IA générative et la XR sont souvent traitées séparément dans les jeux vidéo, le divertissement et les applications grand public, ce qui éclipse leur vaste potentiel dans d’autres environnements. Cette semaine, par exemple, Meta a lancé Meta AI sur le Meta Quest. La majorité des conversations qui ont suivi ont porté sur son utilisation pour des conseils de mode, ou pour ajouter aux jeux une nouvelle dimension. De mon côté, j’aimerais parler de la manière dont l’IA peut améliorer notre façon de travailler.
Comprendre l’IA générative
Tout d’abord, commençons par dissiper tout malentendu concernant ce qu’est l’IA générative. L’intelligence artificielle évolue rapidement; on affirme que ses différentes formes pourraient changer nos vies, mais comme il s’agit de nouveaux concepts pour la majorité d’entre nous, il peut devenir accablant d’essayer de les déchiffrer. L’IA générative est l’un des termes généralement incompris; voici donc un article sur notre blog qui l’explore plus en détail. En gros: l’IA générative est un type de modèle d’apprentissage profond pouvant générer du nouveau contenu en se basant sur les données l’ayant formé.
Détecter, puis adapter avec l’IA
Si nous augmentons notre capacité à "sentir" le monde grâce aux appareils XR, il semble naturel de penser que toutes les données provenant des capteurs de ces appareils peuvent être transmises à un modèle d'IA. Ce modèle nous assistera dans nos tâches cognitives et nous aidera à prendre de meilleures décisions, non seulement en générant du contenu, mais surtout en s'adaptant à différents contextes.
Dans les environnements de travail à haut risque, où la perception du danger par les travailleurs peut être altérée par la fatigue ou la déficience, des agents d'IA multimodaux pourraient prédire les situations dangereuses en temps réel en exploitant les capteurs des wearables XR et en fournissant une assistance visuelle et auditive, apportant ainsi une meilleure conscience spatiale à l'utilisateur. Les capacités multimodales des systèmes XR et d'IA pourraient être combinées pour offrir une expérience de travail améliorée qui contribuerait à minimiser les accidents mortels.
Dans une enquête, 45 % des employeurs canadiens ont cité la recherche de candidats qualifiés comme le plus grand obstacle au processus d'embauche. La recherche d'emploi peut ressembler à une boîte noire, les candidats ne sachant pas comment se préparer à un entretien même s'ils sont qualifiés.
Ainsi, les candidats en recherche d’emploi pourraient grandement bénéficier de la technologie AI-XR pour développer leurs compétences. Des agents virtuels, alimentés par l’IA générative, pourraient les interviewer. Tirant des informations d’offres d’emploi spécifiques, ils pourraient entretenir des conversations naturelles et utiles. Des modèles d’IA pourraient être utilisés pour évaluer les entretiens, ou simplement pour aider les candidats à développer leur confiance.
Ce type de technologie pourrait aussi être utilisé pour perfectionner les compétences d’employés en formation, ou déjà établis. D’une part, si un apprenant éprouve des difficultés, l’IA pourrait adapter automatiquement le scénario XR afin qu’il s’exerce davantage. D’autre part, si un apprenant se débrouille exceptionnellement bien, l’IA pourrait augmenter la difficulté pour le tester plus en profondeur.
.gif)
Je dirais également que la santé est l'un des domaines les plus intéressants pour l'IA-XR. Imaginez un chirurgien guidé par un assistant IA capable d'analyser des situations en temps réel et d'identifier des problèmes que l'œil humain pourrait facilement manquer.
La recherche indique que l 'absence de tumeurs cancéreuses au cours d'une intervention chirurgicale est un problème important. En outre, le cancer peut réapparaître après l'opération en raison de cellules cancéreuses résiduelles qui n'ont pas été détectées et retirées lors de l'opération initiale. L'utilisation de dispositifs de réalité mixte pour collecter de manière autonome des données pendant les procédures, et l'intégration de l'IA pour traiter les données collectées et détecter les cellules cancéreuses, pourrait être une technologie permettant de sauver des vies.
D’un point de vue plus créatif, l’IA-XR offre aussi un moyen facile de générer des scénarios de formation immersifs et interactifs à partir de simples scripts en 3D, dont les esquisses et notes simples seraient animées automatiquement.
Expérimentations chez OVA
Chez OVA, nous travaillons actuellement sur une fonctionnalité d’agent PNJ (personnage non joueur) contrôlé par l’IA afin de faire de ces scénarios hypothétiques une réalité. Si ça vous intéresse, je vous invite à lire sur d’autres de nos initiatives telles que l’emploi de NeRF pour rendre la formation chez Arcelormittal plus sécuritaire, un projet en collaboration avec Scale AI.
Notre travail avec l'agent IA vise à permettre la génération de contenu dynamique dans différentes langues, en produisant du texte, de la parole et des images en quelques secondes. Nous permettons aux utilisateurs de personnaliser les conversations en utilisant des données et des documents spécifiques, ce qui permet à l'IA de répondre avec différents tons, rôles ou personnalités.
De plus, nous explorons présentement la capacité de l’agent IA à détecter ce qui l’entoure grâce à une fonctionnalité de vision. Il pourrait ainsi activer des comportements spécifiques ou décrire des entrées visuelles selon le contexte spatial. Ces outils, visant à ce que les scénarios de formation et d’apprentissage s’adaptent dynamiquement à une variété de contextes, contribueront ultimement à améliorer les expériences interactives combinant la XR et l’IA générative. Armés d’un processus de création de contenu amélioré, les experts pourront se concentrer sur ce qui compte le plus
Cette fonctionnalité, combinée aux outils de création conviviaux de StellarX, permettra aux utilisateurs de prototyper diverses expériences à l’aide de l’IA générative tout en restant complètement immergés dans leur environnement XR.
L’IA responsable est toujours d’actualité
Il est essentiel de garantir la protection des données et de la vie privée à mesure que nous développons ces technologies, en veillant à ce que les données des utilisateurs soient sécurisées et utilisées de manière responsable. Nous devons construire ces systèmes de manière à ce qu'ils ne fonctionnent pas dans des boîtes noires ; nous voulons qu'ils soient ouverts et transparents, et que l'on puisse exercer un contrôle maximal sur eux. Dans le même temps, nous devons nous assurer que toutes les données concernées sont sécurisées et accessibles uniquement par leurs propriétaires.
Cette politique est d'autant plus importante lorsque l'on développe une IA qui n'est pas seulement basée sur des entrées de texte, mais aussi sur la vision par ordinateur, la parole, etc.
Nous explorons les technologies d’IA depuis un moment déjà, et ce, de différentes manières; il s’agit donc de considérations auxquelles nous avons déjà réfléchi en profondeur. Ici, les données sont toujours sécurisées. Nous divulguons comment elles sont utilisées, et prenons des mesures pour assurer une protection maximale au sein des équipes et organisations.
Alors, qu’en pensez-vous? L’IA et la XR pourraient-ils être utilisés pour des cas d’usage que je n’ai pas abordés dans cet article?
.png)