Avec iOS 10, SiriKit a ouvert l'assistant aux applications tierces… mais pour quelques catégories d'apps uniquement (messageries, paiement mobile, transports, etc.). Siri Shortcuts, présenté durant la WWDC 2018, va plus loin encore puisqu'elle permet aux utilisateurs et à toutes les applications de créer des routines à lancer avec Siri, que ce soit avec la voix ou depuis Spotlight, le moteur de recherche d'iOS.

Apple insiste sur un point : les suggestions et les notifications de Siri sont moulinées en local, sur l'iPhone ou l'iPad. Les données qui donnent son intelligence à l'assistant ne sont pas partagées avec un tiers.

Siri suggère dans Spotlight

Avec Shortcuts, Siri gagne de nouveaux galons d'assistant en affichant dans le panneau de recherche d'iOS 12 des notifications proactives¹. Siri exploite des données comme la localisation, l'heure du jour, les mouvements de l'utilisateur et ses petites habitudes pour déterminer une suggestion qui s'ajoute, voyez comme les choses sont bien faites, dans Spotlight sous les « suggestions de Siri » — qui jusqu'à présent, se contentaient de proposer des applications.

Envoyer un message à un groupe Messages ou à un ami, jouer un morceau, appeler un contact, prévenir d'un rendez-vous… Siri pioche dans les données et dans l'usage des apps pour déterminer des suggestions qui peuvent s'avérer utiles. Il ne s'agit pas uniquement de proposer de lancer une application : aidé de ses algorithmes d'apprentissage automatique, l'assistant va chercher en profondeur dans les informations données par l'utilisateur.

Les suggestions de Siri s'affichent sur l'iPhone et l'iPad bien évidemment, mais aussi au sein du cadran Siri de l'Apple Watch. Je n'ai pas eu la chance encore de voir apparaitre une telle carte sur ma montre, mais cela va très certainement apporter un intérêt supplémentaire à un cadran qui n'en manquait déjà pas.

Actuellement, les suggestions Siri prennent en charge la plupart des apps d'Apple, mais tout l'intérêt de ce nouveau service c'est sa connexion avec les applications tierces. Avec iOS 12, les développeurs peuvent exploiter un système de « dons » à Siri : à chaque fois que l'utilisateur interagit avec une app, celle-ci peut en faire part à l'assistant pour qu'il puisse ensuite suggérer une action à l'utilisateur.

Siri notifie sur l'écran verrouillé

Quand Siri est absolument certain qu'une suggestion est importante, une notification apparait sur l'écran verrouillé de l'appareil. Nous avons pu expérimenter cette notification à plusieurs reprises ; la première concerne un rendez-vous (une réunion en l'occurrence) inscrit dans Calendrier et partagé entre l'utilisateur et un contact.

Le jour dit, quelques minutes avant l'événement, une suggestion Siri est apparue sur l'écran verrouillé. On passera sur le franglais du message (on en est seulement à la première bêta d'iOS 12), ce qui est intéressant ici c'est que Siri propose d'activer le mode Ne pas déranger durant la réunion.

Autre exemple, cette fois plus mystérieux. Il concerne là aussi une suggestion Ne pas déranger, mais elle ne repose pas sur un rendez-vous du Calendrier d'iOS. Le système prend semble-t-il appui sur une conversation Messages entre Florian, l'utilisateur de l'iPhone, et Stéphanie… même si la discussion en question ne fait qu'évoquer rapidement un dîner.

Le mode Ne pas déranger s'enrichit notablement dans iOS 12 et watchOS 5, en plus des notifications intelligentes de Siri (lire : iOS 12 apporte de la souplesse au mode Ne pas déranger).

Autre exemple de notification sur l'écran verrouillé, cette fois liée aux appels. Un coup de fil manqué affiche une notification suggérant de rappeler la personne, ou dans le cas d'un rendez-vous fixé avec quelqu'un, de le prévenir : iOS a en effet repéré que l'utilisateur est à la bourre…

Les exemples donnés par Apple sont plus variés bien sûr. Siri peut ainsi proposer, à même l'écran verrouillé, de commander ce même petit blanc café que vous prenez dans le même estaminet tous les matins. À noter que ces notifications apparaissent également dans les suggestions Siri de Spotlight :

Tout le monde n'a pas forcément envie de se voir rappeler ses petites habitudes sur l'écran verrouillé. C'est pourquoi un réglage supplémentaire fait son apparition dans les préférences Siri et Rechercher :

L'écran verrouillé pouvant être consulté par n'importe qui sans identification préalable, iOS 12 permet de désactiver l'affichage de ces suggestions. Pas inutile pour l'iPad qui sert à toute la famille, par exemple.

Créer ses propres raccourcis Siri

Ces suggestions et notifications proposées par Siri ne sont que la partie émergée de l'iceberg. iOS 12 va bien plus loin en la matière, puisque le système offre la possibilité de créer ses propres raccourcis, à activer à la voix ou dans Spotlight !

Apple a adopté une approche globale qui ouvre franchement les portes et les fenêtres à Siri. D'abord du côté de l'utilisateur, qui hérite de deux outils pour créer des raccourcis profonds vers les apps compatibles. Les réglages Siri et Rechercher comprennent une nouvelle section Shortcuts qui propose trois suggestions de raccourcis.

Ces raccourcis sont proposés en fonction des dernières interactions de l'utilisateur avec les applications. Le menu Plus de raccourcis liste une bonne partie de l'historique des récentes actions réalisées par l'utilisateur sur son appareil. On y retrouve par exemple les interactions avec Plans, Safari, Horloge, Téléphone, Podcasts…

Chaque app présente trois actions, mais en touchant le lien Tout afficher on en obtient une liste plus complète. Après avoir touché le petit « + » en regard d'un raccourci, iOS demande d'enregistrer un ordre vocal ; parfois, Siri propose une tournure, parfois non. Soyez créatif… ou efficace.

Les raccourcis créés sont à portée de doigt : la liste est en effet disponible en touchant le menu Mes raccourcis, qui indique l'ordre vocal choisi pour lancer le raccourci et l'action effectuée. On a évidemment tout loisir de supprimer un raccourci.

Une fois le raccourci en boîte, il suffit de convoquer Siri et donner l'ordre correspondant. Actuellement, Siri renvoie automatiquement vers l'application liée au raccourci. À terme pour les apps tierces, l'assistant affichera des cartes ainsi que des réponses personnalisées (que le développeur prendra soin de préciser) :

Ces raccourcis définis par l'utilisateur sont disponibles sur l'iPhone et l'iPad, ainsi que sur l'Apple Watch et le HomePod. Les ordres peuvent être vocaux donc, mais il arrive parfois que parler ne soit pas la meilleure interface qui soit ! C'est pourquoi ces raccourcis peuvent s'activer via le moteur de recherche d'iOS.

Apple aurait pu aller encore plus loin et proposer de placer des raccourcis directement sur l'écran d'accueil, un peu comme les sites web, ou encore dans un widget spécifique. Cela pourrait être le cas avec l'app Shortcuts, sur laquelle on revient un peu plus bas.

Plusieurs apps ont d'ores et déjà établi des ponts avec Siri Shortcuts, comme Pinterest, WhatsApp ou encore Wikipedia. On soupçonne que les développeurs de ces applications n'aient rien eu de spécial à accomplir pour faire partie des premiers services compatibles : les deux premières intègrent déjà SiriKit, quant à Wikipedia c'est la base de connaissances sur laquelle s'appuie Siri.

Les applications sont ensuite en mesure de proposer l'ajout de raccourcis Siri dans les réglages. Il suffit de leur assigner une commande vocale.

On peut avoir une idée de la puissance de ces raccourcis, puisqu'ils fonctionnent déjà avec Workflow, l'application d'automatisation acquise par Apple l'année dernière. Il suffit de lancer le Workflow que vous voulez activer à la voix ou depuis Spotlight, puis de revenir dans les réglages Siri et Rechercher : une suggestion en lien avec l'action Worflow doit être présente, prête à accueillir un raccourci vocal.

Le fonctionnement avec l'app d'automatisation reste encore limitée puisque Workflow ne peut pas partir du contexte (un extrait de texte par exemple), mais c'est un début qui ouvre déjà des possibilités intéressantes.

Le développeur, comme on l'a vu, peut donner à l'assistant un accès profond à son application pour que Siri puisse faire des suggestions proactives. Il peut également autoriser l'utilisateur à créer des ordres vocaux personnalisés vers des raccourcis de son application.

Apple donne justement en exemple le code d'une application test pour un restaurant, Soup Chef. Les commandes de tel ou tel plat peuvent être personnalisées avec un raccourci vocal personnalisé par l'utilisateur.

Comme prévu, le raccourci permettant de commander un plat est disponible dans Spotlight. En revanche l'ordre vocal retourne actuellement une erreur de Siri.

Cette app test permet aussi de toucher les limites de l'exercice : on ne peut pas modifier la commande. Le raccourci concerne une seule soupe à la tomate, pas deux ou trois, et la composition du plat ne peut pas être changée. Pour faire un changement, il faudra ouvrir l'app.

Shortcuts, une application pour aller encore plus loin

Dernière étage de la fusée, et pas des moindres, l'application Shortcuts qui est dans les tuyaux. Clairement basé sur Workflow, Shortcuts permet de concevoir des raccourcis complexes impliquant plusieurs applications connectées entre elles par des actions.

L'app Shortcuts comprendra un certain nombre de raccourcis pour mettre le pied à l'étrier bien sûr, mais l'objectif est de permettre aux utilisateurs de créer leurs propres raccourcis à contrôler à la voix ou depuis Spotlight.

Si, comme la rumeur l'annonce, Shortcuts est une mise à jour de Workflow, alors peut-être qu'il sera possible d'accéder à ces raccourcis depuis le panneau de partage ou dans un widget.

La version finale de l'application Shortcuts ne sortira qu'à l'automne en même temps qu'iOS 12, mais les développeurs pourront peut-être jouer avec dès la seconde bêta du système. Ce qui est à peu près sûr, c'est que les actions précédemment créées dans Workflow seront compatibles avec Shortcuts, assure MacStories. Voilà qui accrédite la thèse selon laquelle Shortcuts ne sera autre que Workflow mis à jour.