Ouvrir le menu principal

iGeneration

Recherche

iOS 13 : Apple offre une fonction d'OCR à tous les développeurs

Florian Innocente

jeudi 27 juin 2019 à 20:30 • 24

iOS

À partir d'iOS 13, les développeurs pourront ajouter dans leurs applications une fonction d'OCR, de la reconnaissance de caractères à partir d'une image, fournie par Apple.

Depuis deux ans dans Notes, on dispose d'une fonction de scanner avec laquelle on peut photographier une carte de visite, un panneau, un bloc de texte dans une page, le détail d'une addition, etc. iOS détecte cet élément dans l'image et, même s'il est photographié de biais, il sait le plus souvent corriger la perspective pour le redresser et en améliorer la présentation en uniformisant l'éclairage.

Sur iOS 13, Apple a amélioré cette fonction en la dotant d'une reconnaissance de caractères. Elle propose le framework VisionKit contenant l'API Document Camera que tous les développeurs peuvent utiliser. Ce framework assure le gros du travail d'analyse de l'image et de reconnaissance du texte, déchargeant les développeurs d'une bonne partie de cet effort.

Lors de la présentation de VisionKit à la WWDC 2019, les deux ingénieurs d'Apple venus décrire son fonctionnement n'ont pas trop insisté sur la question de la langue, mais il a été dit que seul l'anglais était utilisé pour le moment [vidéo].

Ce que le nouveau Notes sait faire, des apps utilisant cette API en seront capables aussi. Dans iOS 13, lorsqu'un contenu texte a été scanné, Notes utilise automatiquement les premiers mots pour les affecter au titre de la note créée. Dans iOS 12, toutes ces notes portaient un nom générique de "Nouvelle note" et le scan était marqué comme "Document scanné". C'est du temps de gagné.

iOS 12 tout à gauche, iOS 13 à droite où les scans sont baptisés en fonction du début du texte reconnu

Cet OCR ouvre la voie à une fonction de recherche sur les contenus plus complète, puisqu'on peut retrouver un mot dans une image. Ici le nom du cyclone "Fani" a été indexé après qu'on ait photographié, un peu de travers, une légende (en anglais) dans un hebdo. Ça va même plus loin puisqu'iOS 13 sait parfois comprendre ce qu'il y a dans l'image, et permet de le retrouver par une recherche texte (ce sera par exemple la photo d'un avion sur une couverture, lire iOS 13 : toutes les nouveautés dans Notes).

Par contre le scan d'un texte en français ne donnera rien avec la recherche de texte, sauf exception lorsque le document contient des mots anglais ou des termes existant dans les deux langues.

La possibilité suivante qui s'offre aux développeurs est d'extraire le texte reconnu et de le présenter sous une forme éditable toute bête ou de le reformater. Le nom, l'adresse et le numéro de téléphone pris dans une carte de visite pourront être affectés à des champs ad-hoc ou injectés dans un tableau. Tout dépend de ce que le développeur entend proposer avec son app.

Les infos de la cartes de visite sont reconnues et classées en fonction
Le moteur d'OCR reprend automatiquement l'organisation de l'information du reçu

La démonstration par les deux ingénieurs d'Apple a abordé les bonnes pratiques dont les développeurs seraient avisés de s'emparer, comme de décider s'ils ont besoin d'une reconnaissance rapide (qui utilisera le CPU de l'iPhone) ou plus précise mais plus longue (qui s'appuie sur les capacités de calcul de la puce graphique). C'est une affaire de contexte, la reconnaissance d'un code barre n'a pas besoin de beaucoup de puissance, alors autant laisser le GPU vaquer à des tâches plus importantes ou urgentes.

Des conseils donnés aux développeurs qui s'empareront de la nouvelle API

Ce point est néanmoins important car cette opération d'OCR est effectuée en local, directement sur le téléphone. Il n'y a pas d'aller et retour de l'image de votre document vers les serveurs d'Apple, comme le fait Microsoft avec son système d'OCR dans OneNote et que des développeurs tiers utilisent comme service intégré à leurs apps.

Si l'app et la fonction d'OCR visent un public particulier, comme des catégories de professionnels, il y aura tout intérêt à doter son app d'un lexique adapté, avec les spécificités de vocabulaire, insiste Apple.

Autre conseil, celui de proposer une reconnaissance où l'on n'embête pas l'utilisateur en lui demandant d'abord ce qu'il veut scanner comme type de document : un seul bouton "Scanner" plutôt qu'un choix entre "Scanner un reçu", "Scanner une carte", "Scanner autre chose"… Charge à l'app de se débrouiller pour identifier le document qu'on lui présente.

Rejoignez le Club iGen

Soutenez le travail d'une rédaction indépendante.

Rejoignez la plus grande communauté Apple francophone !

S'abonner

Apple serait en pole position pour diffuser la F1 aux États-Unis avec une offre à 150 millions 🆕

07:56

• 16


Prime Day : les derniers bons plans pour équiper sa maison en domotique

11/07/2025 à 20:50

• 14


La Chine s'attaque aux batteries externes de mauvaise qualité, ce qui cause des remous chez les fabricants

11/07/2025 à 20:15

• 14


Les produits Wemo de Belkin sont poussés à la retraite sauf s'ils utilisent HomeKit

11/07/2025 à 19:30

• 5


Prime Day : découvrez les joies de DockKit avec de belles promotions

11/07/2025 à 16:45

• 0


Orange fait des essais de 5G dans la bande des 6 GHz, et les résultats sont intéressants

11/07/2025 à 15:37

• 6


Prime Day : des traqueurs Localiser dès 12 €, des étuis à lunettes, des porte-passeports, des cartes pour le portefeuille, les meilleurs accessoires en promotion

11/07/2025 à 15:10

• 11


Nintendo peut bannir une Switch 2 à cause d'un jeu acheté d'occasion (mais ce n'est pas toujours définitif)

11/07/2025 à 11:31

• 51


France Identité : des correctifs disponibles pour la carte grise et les grands iPhone

11/07/2025 à 10:31

• 14


iPad, MacBook Pro/Air, iPhone 17e : tous les nouveaux produits attendus d’ici le printemps 2026

11/07/2025 à 06:46

• 21


Notre top 5 des accessoires à avoir pendant les vacances (et en promo) !

10/07/2025 à 21:40

• 23


Apple échappe à un procès pour entente illégale sur Apple Pay aux USA

10/07/2025 à 21:15

• 9


Test de la sonnette vidéo G410 d’Aqara : toujours sur piles, mais avec un meilleur angle

10/07/2025 à 20:30

• 7


Une nouvelle fuite présente la possible maquette de l’iPhone 17 Pro noir

10/07/2025 à 20:00

• 79


Samsung aurait lancé la production de l’écran du futur iPhone pliable

10/07/2025 à 14:41

• 10


Guide d'achat : les meilleurs accessoires pour filmer vos vacances avec un iPhone

10/07/2025 à 14:04

• 3