Memos passe un coup d'OCR dans Photos pour vous aider à retrouver des infos

Stéphane Moussie |

Parce qu’il est toujours plus rapide de prendre une photo toute bête que de numériser un document avec une app dédiée, vous avez sûrement des affiches, pages de journaux et autres écriteaux qui côtoient vos photos de famille dans l’application Photos d’Apple. Seulement, quand vient le moment de retrouver une information inscrite sur un document, la recherche n’est pas facile. L’app Photos reconnait les objets, les scènes et les visages, mais pas les textes.

Memos comble cette lacune du mieux qu’elle peut. Cette application tierce passe un coup de reconnaissance optique de caractères sur toutes vos photos pour en extraire les textes.

L’opération de reconnaissance se fait exclusivement en local, ce qui est un gage de confidentialité, mais ce qui prend aussi beaucoup de temps si vous avez des milliers d’images. Il faut d’autant plus de temps que Memos a besoin des originaux : si vous avez choisi l’option « Optimiser le stockage » pour la photothèque iCloud, l’app devra télécharger toutes les photos qui ne sont pas en local (elles seront téléchargées juste le temps du traitement).

Une fois l’OCR effectuée, Memos présente toutes les images dans lequel du texte a été détecté — l’application les appelle les « mémos ». On peut mettre en favoris un mémo pour le retrouver plus rapidement et ajouter un commentaire à chacun d’entre eux. Une option pour exclure les captures d’écran aurait été pratique.

Certains textes sont encadrés par un rectangle vert qui permet de partager facilement l’extrait de l’image ou le texte converti. On peut aussi tracer soi-même des rectangles pour sélectionner des morceaux qui échappent à l’app.

Le moteur de recherche de Memos prend donc en compte les textes extraits : tapez « merci » et l’app affichera toutes les photos dans lequel le mot « merci » apparaît. Cela fonctionne même depuis Spotlight.

C’est extrêmement pratique pour retrouver une info enfouie au fin fond de sa photothèque. La reconnaissance optique de caractères est plutôt fiable, y compris en français, mais pas le système de sélection automatique avec les rectangles verts.

L’application encadre parfois des zones qui ne contiennent aucun texte (et sort donc une transcription absurde) alors qu’elle oublie des blocs de texte évidents. Cela étant, ce n’est pas parce que le texte n’est pas encadré automatiquement qu’il n’est pas reconnu : une sélection manuelle ou une recherche font bien ressortir les mots présents.

Memos fonctionne bien sur notre petite photothèque de quelques centaines d’images, par contre l’application a beaucoup de mal avec une photothèque de dizaines de milliers d’images (l’indexation prend des heures et l’app plante), là où son apport est le plus intéressant. En raison de ce problème, on ne conseillera pas Memos à tout le monde. On espère que ses fonctions seront un jour directement intégrées dans Photos, car elles y ont toute leur place.

Tags
avatar romainB84 | 

Petite question un peu HS.
Est ce que quelqu’un connaît une appli sur iOS qui gère les « mots clef » dans les photos.
Dans photo sur Mac OS, on peut directement ajouter des mots clef (qui sont parfaitement synchronisés sur iOS)
Mais on ne peux pas en ajouté depuis lappli ios !
Personnellement je m’en sers pour tagger les gens présent sur les photos (je sais que photo à une reconnaissance de visage ... mais vu le nombre qu’elle loupe ... c’est pas des plus fiable ... par contre ça a le mérite d’être automatique)
Du coup je suis obligé de passer sur Mac OS juste pour ajouter des mots clef ^^ ce qui est un peu dommage !
Donc si quelqu’un connait une astuce pour le faire depuis iOS je suis preneur ?

avatar Kriskool | 

@romainB84

Ils existe HashPhotos de « beyondf » https://apps.apple.com/fr/app/hashphotos/id685784609 mais les tags qu’on peut mettre sur iOS ne sont pas synchronisés avec ceux de macOS
Par contre tu as tort de penser que la l’identification des visages ne marche pas bien sur iOS et sur Mac car elle a été grandement améliorée et maintenant la quasi-totalité des visages est bien reconnue. Tu peux aussi ajouter des visages manuellement pour d’affiner l’apprentissage de Photos pour qu’il en identifie davantage

avatar romainB84 | 

@Kriskool

Merci pour lappli ? mais si ça se synchronise pas, ça va pas m’aller ?
Pour la détection de visage je persiste ?? (et pourtant d’après les trolls d’ici je suis un fan boy ?? donc pour que je critique un truc d’Apple c’est que vraiment ça me convient pas )
Le soucis c’est que dès qu’une personne n’est pas bien de face ou autre ... il l’a détecte pas
Alors oui sur Mac OS on peut forcer et ajouter un visage mais la synchronisation est catastrophique entre macOS et iOS.
L’avantage des mots clef c’est que ces infos sont inscrit en dure dans la photo... donc là synchro est parfaite.
Avec le système de visage, ça passe par lappli qui gère la synchronisation
Et je vais te faire la démo en live :
Sur Mac OS photo détecte 960 photos de ma femme alors que sur mon iPhone il n’en voit que 943 ( et quand je met les mots clef une recherche par mot clef : 971 photos)

Le pire c’est que je m’était fait chie à faire défiler photo par photo sur Mac OS en remplissant à la fois les mots clef et en mettant également le visage de chaque contact (en les rajoutant manuellement si il les voyait pas)
Donc logiquement sur Mac OS, je devrais avoir EXACTEMENT le même nombre de photo de ma femme que ce soit avec visage et mot clef, mais il en a perdue quelques une au vol visiblement ^^
Du coup je confirme que les mots clefs sont beaucoup plus fiable, mais le soucis c’est que ce n’est pas automatique ?

[edit]
Je viens de refaire le test avec des albums intelligents sur Mac OS pour filtre par mot clef et par visage
A présent sur Mac OS j’ai EXACTEMENT le même nombre de photo de ma femme (que ce soit les mots clef et les visages... j’ai du ajouter quelques visage à la main mais c’est bon 976 visages reconnus et 976 photos avec un mot clef au nom de ma femme)
Je viens d’aller voir sur mon iPad : les mots clefs sont bien synchronisé (976 photos de ma femme) par contre je n’ai que 968 visage de ma femme.
Donc il a bien synchronisé les mots clef mais pour les visages il en a perdu au vol entre la synchronisation IOS et Mac OS ?

avatar nifex | 

@romainB84

Il n’y a pas de synchronisation pour la reconnaissance faciale. Le procédé ce fait sur chaque appareil indépendamment. Essayes de valider autant que possible les bons visages pour entraîner l’IA derrière.

avatar romainB84 | 

@nifex

Depuis ios11 les visages sont synchronisés entre iOS et Mac OS ?

« L’album "Personnes" avec la reconnaissance des visages est
maintenant synchronisé sur tous les appareils avec le même identifiant
iCloud, afin de ne pas avoir à répéter l’opération partout »

https://www.iphon.fr/post/ios-11-des-nouveautes-photos-883307

avatar nifex | 

@romainB84

Ah cool ça, merci je ne savais pas.

avatar romainB84 | 

@nifex

Cool! Mais au final pas tant que ca, parce que ça fonctionne moyen ?? (du coup je me rabat sur les mots clefs qui eux fonctionne impeccablement ?

avatar Justum | 

Apple s’engage aussi sur le terrain de l’OCR...

https://www.reddit.com/r/iOSBeta/comments/c2vtu5/feature_scanned_documen...

avatar Lu Canneberges | 

La reconnaissance et transcription du texte en tout petit sur la photo du court de tennis est impressionnante ! (Et un peu flippante ^^’)

avatar AllanZ | 

Ça fait longtemps que j’attend une fonction comme celle-ci sur iOS... ?

avatar romainB84 | 

@AllanZ

Le top serait qu’ils l’intègrent dans la fonction « scan » (de note) et qu’ils permette de générer un pdf avec ? (comme la plupart des appli de scan en fait)

CONNEXION UTILISATEUR