L'apprentissage automatique au service de la reconnaissance d'écriture de Griffonner
Si iPadOS 14 s'est montré finalement assez chiche en matière de nouveautés, il y en a au moins une qui mérite d'être explorée : Griffonner. Certes, elle n'est disponible que pour les locuteurs anglais et chinois, mais il est possible de l'activer facilement, au prix d'une petite bidouille toute simple. Griffonner ne se limite pas à la reconnaissance de l'écriture de l'utilisateur, c'est un ensemble de fonctionnalités qui tire intelligemment parti de l'Apple Pencil, mais il est vrai que cette reconnaissance est particulièrement efficace et bien pensée — elle s'adapte aussi très bien aux apps tierces, comme Things tout récemment.
Pour développer cette fonction, Apple a fait appel à l'apprentissage automatique, ce qui n'est pas une surprise. Pour nourrir ses modèles, le constructeur a beaucoup observé la manière dont les gens écrivent. « Lorsqu'il s'agit de comprendre les traits [de l'écriture manuscrite], nous récoltons des données », explique Craig Federighi, vice-président de l'ingénierie logiciel, à Popular Mechanics. « Nous leur avons donné un Pencil, et on leur a demandé d'écrire rapidement, lentement, en inclinant [le stylet]. Toutes les variations possibles ».
La méthodologie employée par Apple diffère de l'approche consistant à numériser et à analyser l'écriture manuscrite existante. Dans le cas d'Apple, les exemples statiques n'étaient pas suffisants : pour développer Griffonner, le constructeur avait besoin de « voir » les traits former chaque lettre. « Si vous comprenez les traits et la manière dont ils se forment, cela facilite la compréhension de ce qui est écrit », précise le dirigeant.
De cette manière, l'iPad est en mesure de prédire le trait, la lettre ou même le mot que l'utilisateur s'apprête à écrire. Et bien sûr, tout cela doit être traité en local, sur la tablette. « Il faut que cela arrive en temps réel, dans l'instant, sur l'appareil. Ce qui veut dire que la puissance de calcul de l'appareil doit être suffisante pour ces traitements en local ». Il ne manque plus que la prise en charge en bonne et due forme du français pour achever de faire de Griffonner une fonctionnalité indispensable — et pousser aussi l'achat d'un Pencil !
Pour ma part inutilisable en français, reconnaît très mal les accents et cédilles.
@rolmeyer
J’écris de la même manière avec lettres individuelles mais c’est surtout accents et cédilles qui ne marchent pas 😭
@rolmeyer
Je viens d’essayer en m’appliquant rien n’y fait les accents et cédilles ne sont pas prisent en compte (avec griffonner). Mais « ç »se transforment en « 5 » ou en « g » 😂
@rolmeyer
Non pas avec Nebo avec l’outil natif griffonner. Je sais que c’est seulement anglais/chinois mais plusieurs personnes m’avaient dit qu’elles passaient les accents et ç en anglais.. je commentais le fait que pour moi utiliser le tips du clavier US pour avoir griffonner ça me servait à rien car pas adapté 😁
@Shaskan
Ça n’est pas disponible en français apparement ça explique pourquoi ça fonctionne très mal
@reborn
Oui ça je sais mais je commentais surtout la possibilité de l’activer quand même en français en rajoutant l’anglais dans les langues du Device 😊.
@Shaskan
« Certes, elle n'est disponible que pour les locuteurs anglais et chinois... »
@empereur_kuzco
C’est fou comme on dirait que vous faite exprès de ne pas comprendre.
Comme je l’ai dis plus haut je commente principalement cette phrase :
« mais il est possible de l'activer facilement, au prix d'une petite bidouille tout simple. »
@Shaskan
Au temps pour moi, il manque la fin de mon commentaire.
J’expliquais sans agressivité mon incompréhension envers les personnes qui utilisent sciemment une fonction non définitive « grâce à une bidouille » et qui expliquent que « ça ne fonctionne pas bien ».
@empereur_kuzco
Pas de soucis j’ai du coup mal interprété le ton du commentaire.
Non mais il est évident qu’il n’est pas imputable à Apple qu’une fonction qui nécessite « une bidouille » pour être activée dans une langue non supportée ne fonctionne pas correctement.
Après mon commentaire est plus à titre informatif
La vidéo pour écrire MacG dure 10 fois plus longtemps que s’il était tapé normalement. 🥺
@rolmeyer
Très bonne remarque, je n’y avais pas pensé sous cet angle. ^^
Je suis impressionné par la capacité qu’il a à reconnaître l’écriture. Toutefois, il y a un gros bémol. Il cherche à faire correspondre l’écriture à des mots anglais et donc ça foire. Donc pour le moment, ce n’est pas utilisable pour des français.
C'est fou comment l'iPad est passé d'une tablette qui s'utilise avec le doigt à une tablette qui s'utilise avec un stylet ou clavier+souris voir les 2 en même temps...
@fousfous
Comparer le pencil à un stylet... 🤦♂️
mécréant ! 😡
@r e m y
Bah quand je vois comment les gens s'en servent dans les vidéos...
WHO WANTS A STYLUS ?!?!?!?!
En général, je trouve la fonction pas mal intéressante comme alternative et assez complète, jusqu’à ce que la version française puisse arrivée. Mais j’aimerais vraiment pouvoir utiliser une fonction “retour en arrière” avec le Pencil. Lorsque j’écris j’ai besoin parfois d’effacer la dernière lettre pour la remplacer, ce n’est pas évident avec le Pencil... Est-ce qu’il y a une fonction ou manipulation qui m’a échappée? Rayer ou Barioler une seule lettre ne fonctionne pas bien.
Je me demandais justement si il y avait du machine learning, parce que je trouve qu’il reconnaît de mieux en mieux mon écriture ( après je suis en 14.2)
« l'iPad est en mesure de prédire le trait, la lettre ou même le mot que l'utilisateur s'apprête à écrire. Et bien sûr, tout cela doit être traité en local, sur la tablette. »
Gimme a break !
C’était exactement le sales pitch d’Apple à propos de Newton, il y a plus d’un quart de siècle, presque mot pour mot, John Sculley régnant.
Faudrait quand-même veiller à ne pas réchauffer les mêmes rengaines pour toutes les idées de génie qu’on enterre, qu’on déterre, qu’on enterre, qu’on déterre...
Ou alors, sur « Le tourbillon de la vie », ça sonne mieux.
@occam
C’est le même système qui a été utilisé l’an dernier dans iPadOs13 pour réduire la latence de 20ms à 10ms.
Les techno d’écriture prédictive existe depuis un moment, comme l’époque des claviers T9. Mais ça ne fonctionnait pas de la même manière.
@reborn
Je sais bien qu’on ne réinvente pas la roue à tous les coups. Mais il ne faudrait pas non plus faire comme si.
Les gens ne sont pas tous de la dernière pluie, ils n’ont pas tous l’Alzheimer non plus.
Un lever de soleil, quand on l’a vu 9125 fois, a beau être toujours émouvant, son mécanisme n’est plus une surprise. Ni un miracle.
Nebo, application française qui fait cela très bien deja. Apple devrait les racheter.
Je me rappelle du Newton et de son OS plutôt palpitant à l’époque !
Toujours la communication de Apple qui vous vend du 'super' mais le constat c'est que ça ne marche pas en français !!
Les êtres humains ne parviennent pas à déchiffrer mon écriture, alors une IA… 😄