L'apprentissage automatique au service de la reconnaissance d'écriture de Griffonner

Mickaël Bazoge |

Si iPadOS 14 s'est montré finalement assez chiche en matière de nouveautés, il y en a au moins une qui mérite d'être explorée : Griffonner. Certes, elle n'est disponible que pour les locuteurs anglais et chinois, mais il est possible de l'activer facilement, au prix d'une petite bidouille toute simple. Griffonner ne se limite pas à la reconnaissance de l'écriture de l'utilisateur, c'est un ensemble de fonctionnalités qui tire intelligemment parti de l'Apple Pencil, mais il est vrai que cette reconnaissance est particulièrement efficace et bien pensée — elle s'adapte aussi très bien aux apps tierces, comme Things tout récemment.

Pour développer cette fonction, Apple a fait appel à l'apprentissage automatique, ce qui n'est pas une surprise. Pour nourrir ses modèles, le constructeur a beaucoup observé la manière dont les gens écrivent. « Lorsqu'il s'agit de comprendre les traits [de l'écriture manuscrite], nous récoltons des données », explique Craig Federighi, vice-président de l'ingénierie logiciel, à Popular Mechanics. « Nous leur avons donné un Pencil, et on leur a demandé d'écrire rapidement, lentement, en inclinant [le stylet]. Toutes les variations possibles ».

La méthodologie employée par Apple diffère de l'approche consistant à numériser et à analyser l'écriture manuscrite existante. Dans le cas d'Apple, les exemples statiques n'étaient pas suffisants : pour développer Griffonner, le constructeur avait besoin de « voir » les traits former chaque lettre. « Si vous comprenez les traits et la manière dont ils se forment, cela facilite la compréhension de ce qui est écrit », précise le dirigeant.

De cette manière, l'iPad est en mesure de prédire le trait, la lettre ou même le mot que l'utilisateur s'apprête à écrire. Et bien sûr, tout cela doit être traité en local, sur la tablette. « Il faut que cela arrive en temps réel, dans l'instant, sur l'appareil. Ce qui veut dire que la puissance de calcul de l'appareil doit être suffisante pour ces traitements en local ». Il ne manque plus que la prise en charge en bonne et due forme du français pour achever de faire de Griffonner une fonctionnalité indispensable — et pousser aussi l'achat d'un Pencil !

Accédez aux commentaires de l'article