Apple Vision Pro a apporté de nouvelles idées sur la façon dont les applications XR doivent être conçues, contrôlées et construites. Dans cet article invité, Sterling Crispin propose un guide concis sur ce que les nouveaux développeurs XR doivent garder à l'esprit lorsqu'ils abordent le développement d'applications pour Apple Vision Pro.

Article invité par Sterling Crispin

Sterling Crispin est un artiste et ingénieur logiciel avec une décennie d'expérience dans l'industrie de l'informatique spatiale. Son travail s'est étendu entre la conception de produits et la R&D de nouvelles technologies dans des entreprises comme Apple, Snap Inc et diverses autres startups technologiques travaillant sur des ordinateurs à visage.

Note de l'éditeur: L'auteur tient à rappeler aux lecteurs qu'il n'est pas un représentant d'Apple ; cette information est une opinion personnelle et ne contient pas d'informations non publiques. De plus, vous trouverez plus d'informations sur le développement de Vision Pro dans Les vidéos WWDC23 d'Apple (sélectionnez Filtre → visionOS).

Ahead est mon conseil pour la conception et le développement de produits pour Vision Pro. Cet article comprend un aperçu de base de la plate-forme, des outils, des applications de portage, de la conception générale du produit, du prototypage, de la conception perceptuelle, des conseils commerciaux, etc.

Vue d’ensemble

Les applications sur visionOS sont organisées en "scènes", qui sont Windows, Volumes et Spaces.

Windows est une version spatiale de ce que vous verriez sur un ordinateur normal. Ce sont des rectangles délimités de contenu dont les utilisateurs s'entourent. Il peut s'agir de fenêtres de différentes applications ou de plusieurs fenêtres d'une seule application.

Les volumes sont des choses comme des objets 3D ou de petites scènes interactives. Comme une carte 3D, ou un petit jeu qui flotte devant vous plutôt que d'être totalement immersif.

Les espaces sont des expériences totalement immersives où une seule application est visible. Cela pourrait être plein de nombreuses fenêtres et volumes de votre application. Ou comme les jeux VR où le système s'en va et c'est tout le contenu entièrement immersif qui vous entoure. Vous pouvez considérer visionOS lui-même comme un espace partagé où les applications coexistent et vous avez moins de contrôle. Alors que les espaces complets vous offrent le plus de contrôle et d'immersion, mais ne coexistent pas avec d'autres applications. Les espaces ont des styles d'immersion : mixte, progressif et complet. Ce qui définit combien ou peu de monde réel vous voulez que l'utilisateur voie.

Entrée utilisateur

Les utilisateurs peuvent regarder l'interface utilisateur et pincer comme le montrent les vidéos de démonstration Apple Vision Pro. Mais vous pouvez également tendre la main et appuyer directement sur les fenêtres, un peu comme s'il s'agissait en fait d'un iPad flottant. Ou utilisez un trackpad Bluetooth ou une manette de jeu vidéo. Vous pouvez également regarder et parler dans les barres de recherche. Il y a aussi un Dwell Control pour l'entrée des yeux uniquement, mais c'est vraiment une fonctionnalité d'accessibilité. Pour une approche de développement simple, votre application peut simplement utiliser des événements comme un TapGesture. Dans ce cas, vous n'aurez pas à vous soucier de l'origine de ces événements.

Audio spatial

Vision Pro dispose d'un système audio spatial avancé qui donne l'impression que les sons sont vraiment dans la pièce en tenant compte de la taille et des matériaux de votre pièce. Utiliser des sons subtils pour l'interaction de l'interface utilisateur et tirer parti de la conception sonore pour des expériences immersives va être très important. Assurez-vous de prendre ce sujet au sérieux.

Développement

Si vous souhaitez créer quelque chose qui fonctionne entre Vision Pro, iPad et iOS, vous opérerez au sein de l'écosystème de développement Apple, en utilisant des outils tels que XCode et SwiftUI. Cependant, si votre objectif est de créer une expérience VR entièrement immersive pour Vision Pro qui fonctionne également sur d'autres casques comme Meta's Quest ou PlayStation VR, vous devez utiliser Unity.

Outils Apple

Pour l'écosystème d'Apple, vous utiliserez SwiftUI pour créer l'interface utilisateur que l'utilisateur voit et le contenu global de votre application. RealityKit est le moteur de rendu 3D qui gère les matériaux, les objets 3D et les simulations de lumière. Vous utiliserez ARKit pour une compréhension avancée de la scène, par exemple si vous voulez que quelqu'un lance des fléchettes virtuelles et les fasse entrer en collision avec son vrai mur, ou fasse des choses avancées avec le suivi des mains. Mais ces riches fonctionnalités AR ne sont disponibles que dans les espaces complets. Il y a aussi Reality Composer Pro qui est un éditeur de contenu 3D qui vous permet de faire glisser des éléments autour d'une scène 3D et de créer des espaces ou des volumes riches en médias. C'est comme Diet-Unity qui a été spécialement conçu pour cette pile de développement.

Une chose intéressante avec Reality Composer est qu'il est déjà plein d'actifs, de matériaux et d'animations. Cela aide les développeurs qui ne sont pas des artistes à construire quelque chose rapidement et devrait aider à créer une apparence et une convivialité plus unifiées pour tout ce qui est construit avec l'outil. Avantages et inconvénients de cette décision de produit, mais dans l'ensemble, cela devrait être utile.

Applications iOS existantes

Si vous apportez une application iPad ou iOS, elle fonctionnera probablement sans modification en tant que fenêtre dans l'espace partagé. Si votre application prend en charge à la fois l'iPad et l'iPhone, le casque utilisera la version iPad.

Pour personnaliser votre application iOS existante afin de mieux tirer parti du casque, vous pouvez utiliser l'API Ornement pour créer de petites îles flottantes d'interface utilisateur devant ou à côté de votre application, pour la rendre plus spatiale. Ironiquement, si votre application utilise de nombreuses fonctionnalités ARKit, vous devrez probablement la "réimaginer" de manière significative pour qu'elle fonctionne sur Vision Pro, car ARKit a été beaucoup mis à niveau pour le casque.

Si vous êtes enthousiaste à l'idée de créer quelque chose de nouveau pour Vision Pro, mon opinion personnelle est que vous devriez également donner la priorité à la façon dont votre application apportera de la valeur sur iPad et iOS. Sinon, vous perdez des centaines de millions d'utilisateurs.

Unité

Vous pouvez créer Vision Pro avec le moteur de jeu Unity, qui est un sujet énorme. Encore une fois, vous devez utiliser Unity si vous construisez sur Vision Pro ainsi qu'un casque Meta comme le Quest ou le PSVR 2.

Unity prend en charge la création de volumes délimités pour l'espace partagé qui existent parallèlement au contenu Vision Pro natif. Et Volumes illimités, pour un contenu immersif pouvant tirer parti des fonctionnalités AR avancées. Enfin, vous pouvez également créer davantage d'applications de type VR qui vous donnent plus de contrôle sur le rendu, mais semblent ne pas prendre en charge la compréhension des scènes ARKit comme la détection d'avion. L'approche Volume donne à RealityKit plus de contrôle sur le rendu, vous devez donc utiliser l'outil PolySpatial d'Unity pour convertir les matériaux, les shaders et d'autres fonctionnalités.

La prise en charge d'Unity pour Vision Pro inclut des tonnes d'interactions que vous vous attendez à voir en réalité virtuelle, comme la téléportation vers un nouvel emplacement ou la prise et le lancement d'objets virtuels.

Conception des produits:

Vous pouvez simplement créer une application de type iPad qui s'affiche sous la forme d'une fenêtre flottante, utiliser les interactions par défaut et l'appeler un jour. Mais comme je l'ai dit plus haut, le contenu peut exister dans un large éventail d'immersions, de lieux et utiliser un large éventail d'entrées. Ainsi, la gamme combinatoire des possibilités peut être écrasante.

Si vous n'avez pas passé 100 heures en VR, obtenez une quête 2 ou 3 dès que possible et essayez tout. Peu importe que vous soyez designer, chef de produit ou PDG, vous devez obtenir une quête et passer 100 heures en réalité virtuelle pour commencer à comprendre le langage des applications spatiales.

Je recommande fortement de vérifier Laboratoire de physique des mains comme point de départ et vue d'ensemble pour comprendre les interactions directes. Il y a beaucoup de choses subtiles qu'ils font qui imprègnent les objets virtuels d'un sens physique. Et le YouTube RV L'application qui a été publiée en 2019 ressemble et se sent assez similaire à une application visionOS de base, cela vaut la peine de vérifier.

Tenez un journal de ce qui fonctionne et de ce qui ne fonctionne pas.

Demandez-vous : "Quelles conceptions d'applications sont confortables ou causent de la fatigue ?", "Quelles applications ont le temps de plaisir ou la valeur les plus rapides ?", "Qu'est-ce qui est déroutant et qu'est-ce qui est intuitif ?", "Quelles expériences prendriez-vous la peine de faire plus plus d'une fois ? Soyez brutalement honnête. Apprenez autant que possible de ce qui a été essayé.

Conseils généraux de conception

Je recommande fortement le processus de conception de style IDEO, cela fonctionne aussi pour l'informatique spatiale. Vous devriez absolument l'essayer si vous n'êtes pas familier. Il y a Kit de conception avec des ressources et cette vidéo qui, bien que daté, est un excellent exemple du processus.

La route vers l'informatique spatiale est un cimetière d'idées utopiques qui ont échoué. Les gens ont tendance à passer très longtemps à construire de grandes solutions pour les problèmes imaginaires d'utilisateurs imaginaires. Cela semble évident, mais vous devriez plutôt essayer de construire quelque chose le plus rapidement possible qui réponde à un besoin humain réel, puis vous améliorer itérativement à partir de là.

Continuer à la page 2 : Formats spatiaux et interaction »

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• Financement EVM. Interface unifiée pour la finance décentralisée. Accéder ici.
• Groupe de médias quantiques. IR/PR amplifié. Accéder ici.
• PlatoAiStream. Intelligence des données Web3. Connaissance Amplifiée. Accéder ici.
• La source: https://www.roadtovr.com/apple-vision-pro-design-development-beginner-guide-sterling-crispin/