La recherche visuelle dans iOS 17 étend ses capacités vers des produits et même des symboles du quotidien. Avec pour idée d'aider les utilisateurs à obtenir plus d'informations ou des instructions d'utilisation.

Cette fonction est apparue avec iOS 15 pour la détection d'animaux, de monuments, d'œuvres d'art ou de plantes dans les photographies. Lorsque Photos détecte un contenu qu'il reconnait, il propose des informations supplémentaires. Ce sera une fiche sur la race d'un chien ou des détails permettant d'identifier une plante.

Avec iOS 17 la fonction reconnait plus de choses encore. D'aucuns ont remarqué par exemple que la photo d'une étiquette des instructions de lavage et séchage pour un vêtement ou les pictogrammes sur le tableau de bord d'une voiture affichait maintenant des informations complémentaires.

Ceux qui ne sont pas habitués à se servir de leur machine à laver pourront photographier l'étiquette d'une chemise et déchiffrer les symboles qu'elle aligne. Même raisonnement pour les symboles autour des commandes dans une voiture.

Apple utilise la base de données de l'ISO (Organisation internationale de normalisation) pour légender les pictogrammes que son système pense avoir reconnus. Cela veut dire que toute chose qui utilise des éléments graphiques normalisés pour ses commandes a potentiellement vocation à être détectée par iOS.

Le système marche très bien dans les deux cas ci-dessus, mais les résultats sont plus aléatoires ou complètement faux dans d'autres, si le symbole reconnu ressemble à un autre normalisé, mais sans rapport aucun avec sa signification. Dans l'exemple suivant, les symboles utilisés pour les boutons tactiles d'un four à micro-ondes ont été confondus avec des logos utilisés par les constructeurs automobile.

Sur cette fontaine à eau (à gauche), les petits dessins représentant des cristaux de neige pour le bouton d'eau très froide ressemblent à ceux qu'aurait un bouton pour allumer un ventilateur. Quant au pavé de commandes d'une imprimante (à droite), l'une d'entre elles a établi une correspondance avec un symbole normé dans les voitures pour allumer les lumières de l'habitacle.

Plutôt que ces symboles que l'on croise un peu partout au quotidien, Apple a préféré mettre en avant une autre nouvelle détection dans iOS 17, celle des plats préparés. La photographie du contenu d'un plat ou d'une assiette — et ce n'est pas ce qui manque dans une photothèque aujourd'hui — lance la recherche de fiches de recettes.

Là encore, la pertinence des résultats varie. Une pizza ne mettra pas Siri en défaut, par contre il a eu du mal à reconnaître la grosse mozzarella au centre de l'image, en envoyant vers des recettes à base de champignons ou de poulet.

De grosses entrecôtes ou des pancakes ne le prennent pas en défaut tandis qu'un bol de pousses de soja (capture au centre) lui fait s'emmêler les pinceaux et confondre avec du chou ou d'autres aliments sans rapport aucun.

Il y a d'autres évolutions intéressantes dans ce domaine de la détection du contenu d'une image ou même d'une vidéo avec iOS 17 (voir les articles précédents ci-dessous). Cependant, pour les exemples décrits dans cet article, cela ne fonctionne pas encore avec le système français. Il faudra changer les réglages de langue et de région dans iOS (Section Général) et les passer sur les États-Unis pour que vos photos soient scrutées.