L'apprentissage automatique au service de la reconnaissance d'écriture de Griffonner

Mickaël Bazoge |

Si iPadOS 14 s'est montré finalement assez chiche en matière de nouveautés, il y en a au moins une qui mérite d'être explorée : Griffonner. Certes, elle n'est disponible que pour les locuteurs anglais et chinois, mais il est possible de l'activer facilement, au prix d'une petite bidouille toute simple. Griffonner ne se limite pas à la reconnaissance de l'écriture de l'utilisateur, c'est un ensemble de fonctionnalités qui tire intelligemment parti de l'Apple Pencil, mais il est vrai que cette reconnaissance est particulièrement efficace et bien pensée — elle s'adapte aussi très bien aux apps tierces, comme Things tout récemment.

Pour développer cette fonction, Apple a fait appel à l'apprentissage automatique, ce qui n'est pas une surprise. Pour nourrir ses modèles, le constructeur a beaucoup observé la manière dont les gens écrivent. « Lorsqu'il s'agit de comprendre les traits [de l'écriture manuscrite], nous récoltons des données », explique Craig Federighi, vice-président de l'ingénierie logiciel, à Popular Mechanics. « Nous leur avons donné un Pencil, et on leur a demandé d'écrire rapidement, lentement, en inclinant [le stylet]. Toutes les variations possibles ».

La méthodologie employée par Apple diffère de l'approche consistant à numériser et à analyser l'écriture manuscrite existante. Dans le cas d'Apple, les exemples statiques n'étaient pas suffisants : pour développer Griffonner, le constructeur avait besoin de « voir » les traits former chaque lettre. « Si vous comprenez les traits et la manière dont ils se forment, cela facilite la compréhension de ce qui est écrit », précise le dirigeant.

De cette manière, l'iPad est en mesure de prédire le trait, la lettre ou même le mot que l'utilisateur s'apprête à écrire. Et bien sûr, tout cela doit être traité en local, sur la tablette. « Il faut que cela arrive en temps réel, dans l'instant, sur l'appareil. Ce qui veut dire que la puissance de calcul de l'appareil doit être suffisante pour ces traitements en local ». Il ne manque plus que la prise en charge en bonne et due forme du français pour achever de faire de Griffonner une fonctionnalité indispensable — et pousser aussi l'achat d'un Pencil !

avatar Shaskan | 

Pour ma part inutilisable en français, reconnaît très mal les accents et cédilles.

avatar rolmeyer | 

@Shaskan

C’est toujours très mauvais sur l’écriture cursive. Les américains écrivent en reproduisant des lettres d’imprimerie comme dans l’exemple de l’article. Dans ce cas c’est facile. Pareil chez MS, j’écris sur mes différentes Surfaces depuis 2014, en natif ( utilisant la reconnaissance MS) ou par Nebo, par exemple, ça passe mal avec l’écriture cursive.
En faisant des lettres individuelles à l’américaine ça marche très bien, sur la Surface ou l’iPad.

avatar Shaskan | 

@rolmeyer

J’écris de la même manière avec lettres individuelles mais c’est surtout accents et cédilles qui ne marchent pas 😭

avatar rolmeyer | 

@Shaskan

Ah ben alors tu es maudit 😂 on t’a jeté un sort. Je n’ai jamais eu de problème particulier avec les accents. Essaye Nebo éventuellement s’il existe une version d’essai. Je l’utilise sur Windows et iOs depuis 5 ans. J’en suis satisfait. J’ai pas encore assez de recul pour la version native Apple.

avatar Shaskan | 

@rolmeyer

Je viens d’essayer en m’appliquant rien n’y fait les accents et cédilles ne sont pas prisent en compte (avec griffonner). Mais « ç »se transforment en « 5 » ou en « g » 😂

avatar rolmeyer | 

@Shaskan

Avec Nebo ? En Apple natif c’est normal, c’est angliche only. Pour l’instant.
Moi je trouve ça pratique pour corriger un texte. Par exemple, dans mon fauteuil sur l’iPad (sans clavier) je peux reprendre un texte que j’ai saisi à un autre moment sur mac. C’est juste un exemple.

avatar Shaskan | 

@rolmeyer

Non pas avec Nebo avec l’outil natif griffonner. Je sais que c’est seulement anglais/chinois mais plusieurs personnes m’avaient dit qu’elles passaient les accents et ç en anglais.. je commentais le fait que pour moi utiliser le tips du clavier US pour avoir griffonner ça me servait à rien car pas adapté 😁

avatar reborn | 

@Shaskan

Ça n’est pas disponible en français apparement ça explique pourquoi ça fonctionne très mal

avatar Shaskan | 

@reborn

Oui ça je sais mais je commentais surtout la possibilité de l’activer quand même en français en rajoutant l’anglais dans les langues du Device 😊.

avatar empereur_kuzco | 

@Shaskan

« Certes, elle n'est disponible que pour les locuteurs anglais et chinois... »

avatar Shaskan | 

@empereur_kuzco

C’est fou comme on dirait que vous faite exprès de ne pas comprendre.

Comme je l’ai dis plus haut je commente principalement cette phrase :

« mais il est possible de l'activer facilement, au prix d'une petite bidouille tout simple. »

avatar empereur_kuzco | 

@Shaskan

Au temps pour moi, il manque la fin de mon commentaire.
J’expliquais sans agressivité mon incompréhension envers les personnes qui utilisent sciemment une fonction non définitive « grâce à une bidouille » et qui expliquent que « ça ne fonctionne pas bien ».

avatar Shaskan | 

@empereur_kuzco

Pas de soucis j’ai du coup mal interprété le ton du commentaire.

Non mais il est évident qu’il n’est pas imputable à Apple qu’une fonction qui nécessite « une bidouille » pour être activée dans une langue non supportée ne fonctionne pas correctement.

Après mon commentaire est plus à titre informatif

avatar razerblade | 

La vidéo pour écrire MacG dure 10 fois plus longtemps que s’il était tapé normalement. 🥺

avatar rolmeyer | 

@razerblade

Oui. Le problème c’est si tu n’as pas de clavier. Poser le crayon, avec lequel tu faisais autre chose comme dessiner, faire apparaître le clavier puis taper, ben griffonner va plus vite.
Il ne faut pas le voir comme remplacement d’un texte tapé au clavier mais une alternative.
On va pas voir demain des secrétaires abandonner leur clavier et leur Pc pour passer à ecrire sur une dalle en verre.😁
Mais si tu tiens son iPad à la main (debout) et le stylet dans l’autre, et tu annotes une photo, ben c’est vachement pratique de pouvoir griffonner dans un champs de recherche où l’entrée se fait au clavier. Bien plus pratique que de poser son pencil puis faire apparaître le clavier, prendre l’iPad des deux mains, puis taper ton texte.

avatar razerblade | 

@rolmeyer

Très bonne remarque, je n’y avais pas pensé sous cet angle. ^^

avatar Nesus | 

Je suis impressionné par la capacité qu’il a à reconnaître l’écriture. Toutefois, il y a un gros bémol. Il cherche à faire correspondre l’écriture à des mots anglais et donc ça foire. Donc pour le moment, ce n’est pas utilisable pour des français.

avatar fousfous | 

C'est fou comment l'iPad est passé d'une tablette qui s'utilise avec le doigt à une tablette qui s'utilise avec un stylet ou clavier+souris voir les 2 en même temps...

avatar r e m y | 

@fousfous

Comparer le pencil à un stylet... 🤦‍♂️
mécréant ! 😡

avatar fousfous | 

@r e m y

Bah quand je vois comment les gens s'en servent dans les vidéos...

avatar Salapeche | 

WHO WANTS A STYLUS ?!?!?!?!

avatar Roguy | 

En général, je trouve la fonction pas mal intéressante comme alternative et assez complète, jusqu’à ce que la version française puisse arrivée. Mais j’aimerais vraiment pouvoir utiliser une fonction “retour en arrière” avec le Pencil. Lorsque j’écris j’ai besoin parfois d’effacer la dernière lettre pour la remplacer, ce n’est pas évident avec le Pencil... Est-ce qu’il y a une fonction ou manipulation qui m’a échappée? Rayer ou Barioler une seule lettre ne fonctionne pas bien.

avatar Lum | 

Je me demandais justement si il y avait du machine learning, parce que je trouve qu’il reconnaît de mieux en mieux mon écriture ( après je suis en 14.2)

avatar occam | 

« l'iPad est en mesure de prédire le trait, la lettre ou même le mot que l'utilisateur s'apprête à écrire. Et bien sûr, tout cela doit être traité en local, sur la tablette. »

Gimme a break !
C’était exactement le sales pitch d’Apple à propos de Newton, il y a plus d’un quart de siècle, presque mot pour mot, John Sculley régnant.

Faudrait quand-même veiller à ne pas réchauffer les mêmes rengaines pour toutes les idées de génie qu’on enterre, qu’on déterre, qu’on enterre, qu’on déterre...
Ou alors, sur « Le tourbillon de la vie », ça sonne mieux.

avatar reborn | 

@occam

C’est le même système qui a été utilisé l’an dernier dans iPadOs13 pour réduire la latence de 20ms à 10ms.

Les techno d’écriture prédictive existe depuis un moment, comme l’époque des claviers T9. Mais ça ne fonctionnait pas de la même manière.

avatar occam | 

@reborn

Je sais bien qu’on ne réinvente pas la roue à tous les coups. Mais il ne faudrait pas non plus faire comme si.
Les gens ne sont pas tous de la dernière pluie, ils n’ont pas tous l’Alzheimer non plus.
Un lever de soleil, quand on l’a vu 9125 fois, a beau être toujours émouvant, son mécanisme n’est plus une surprise. Ni un miracle.

avatar lambs | 

Nebo, application française qui fait cela très bien deja. Apple devrait les racheter.

avatar michelgoldbergjazz | 

Je me rappelle du Newton et de son OS plutôt palpitant à l’époque !

avatar en chanson | 

Toujours la communication de Apple qui vous vend du 'super' mais le constat c'est que ça ne marche pas en français !!

avatar Antiphon | 

Les êtres humains ne parviennent pas à déchiffrer mon écriture, alors une IA… 😄

CONNEXION UTILISATEUR