FindMySnap, un puissant moteur de recherche de photos sur iOS
Le moteur de recherche de l'application Photos d'Apple a beau s'améliorer d'année en année, il est encore loin d'être infaillible. FindMySnap est une nouvelle application qui entend résoudre le problème des photos impossibles à retrouver facilement.
Développée par l'éditeur français CYME, l'application tire parti du réseau neuronal CLIP d'OpenAI pour classer toutes les images de votre photothèque avec une grande précision — c'est la même technologie qui est à l'œuvre dans la recherche intelligente de son super-catalogueur Peakto. La classification est exécutée en local, ce qui peut demander un certain temps en fonction de l'iPhone et de la taille de la bibliothèque.
Tandis que l'application Photos d'Apple est incapable de fournir des résultats pour une recherche assez spécifique, par exemple « montagne enneigée », cela ne pose pas de souci à FindMySnap, pourvu que des images correspondantes existent bien évidemment.
Les résultats de FindMySnap ne sont pas toujours parfaits, on voit dans l'exemple ci-dessus qu'il y a quelques faux positifs qu'on ne peut malheureusement pas exclure (dont une photo de mer qui n'a vraiment rien à voir avec une montagne enneigée), mais l'application est bel et bien plus efficace que le moteur de recherche d'Apple.
Même sans aller jusqu'à faire des requêtes précises, FindMySnap peut retrouver des photos que l'app d'Apple ignore étrangement. C'est par exemple le cas avec la requête « tennis », qui donne des résultats beaucoup plus complets avec l'app tierce. Et si vous voulez replonger dans vos souvenirs au hasard, le bouton à côté du champ de recherche lance une requête aléatoire (« prise de vue par drone aérien », « images impressionnantes de paysage », « nourriture colorée »…).
FindMySnap n'est pas la première application iOS à tirer avantage de CLIP, il y a aussi Queryable, mais elle dispose de plusieurs fonctionnalités supplémentaires. On peut enregistrer ses recherches, ce qui est le bienvenu dans l'optique de retrouver rapidement des photos précises. À partir des résultats, on peut créer des albums qui apparaitront dans l'application Photos, ainsi que supprimer des images de la photothèque ou au contraire les marquer comme favoris.
FindMySnap a aussi une facette tournée vers les réseaux sociaux — d'où son nom. L'application donne la possibilité de créer des montages de photos adaptées aux formats de TikTok, Instagram, Pinterest ou X, entre autres, et de les exporter directement vers ces plateformes.
L'application est freemium : on peut l'utiliser sans payer, mais la taille de la base de données est alors limitée à 5 000 photos, les résultats à 9 images et les favoris à 5 requêtes, ce qui est amplement suffisant pour tester sa pertinence. Pour faire sauter ces barrières, il faut souscrire un abonnement (1,99 €/mois ou 7,99 €/an) ou bien acheter une licence perpétuelle à 39,99 €.
Est-ce suffisamment sécurisé pour lui faire confiance ? Une si petite structure…
Bonjour. Oui vous pouvez nous faire confiance car nous ne ne souhaitons pas non plus que nos photos alimentent les IAs et les algorithmes des autres...c'est une des raisons pour laquelle nous avons aussi développé Peakto. FindMySnap lance son modèle localement et rien de quitte votre iPhone.
@Cyme
merci.
Quand est ce que Apple rachète ?
@pariscanal
… ou sherlock…
Est-ce qu’il existe un logiciel qui permet de trouver des photos strictement similaires mais avec un nombre de pixels (résolution ?) différent ?
🤔
@Timmy
Sur Mac tu as Gemini II.
https://macpaw.com/fr/gemini
@powergeek
Merci. Je vais regarder.
😉
Peakto peut faire ça par exemple...la taille des images importe peu. En fait, techniquement, tous les algos de similarité d'images prennent en entrée une image très petite (environ 250pixels de côté). Des images de tailles différentes avec le même contenu seront considérées comme similaires car ce qui sera comparé, ce sont des versions retaillées pour les besoins de l'algo.
A noter, FindMySnap sera bientôt étendu pour la recherche d'images similaires...
@Cyme
Cool, merci.
😉
@Timmy
gemini2 comme dit plus haut… mais dont g arrêté l’abonnement depuis qu’apple a intégre une fonction semblable directement dans photos
@raoolito
C’est à dire ?
Comment dois-je faire ?
@Timmy
sur macos il y a un menu « rechercher les doublons »
sur ios, c’est expliqué par Nicolas dans son excellent (feu) « nouveautés d’ios16 »
« “La photothèque d’iOS 16 hérite d’une fonction bien pratique : la recherche de doublons. L’app est capable d’analyser toutes les photos et vidéos dans votre collection pour identifier celles qui sont identiques ou similaires. Le cas échéant, vous pourrez les fusionner pour garder la version de meilleure qualité avec le maximum de métadonnées.
Les doublons détectés par Photos sont tous rassemblés dans un nouvel album dédié, accessible en bas de la vue « Albums » sur iPhone ou dans la barre latérale sur iPad. Tous les doublons identifiés sont alors listés par ordre chronologique, avec les plus récents en bas de la vue.”
Excerpt From
Les nouveautés d’iOS 16
Nicolas Furno
https://itunes.apple.com/WebObjects/MZStore.woa/wa/viewBook?id=0
This material may be protected by copyright. »
@raoolito
👍😉
@Timmy
ceci étant dit, je doute que ce soit meilleur qu’un modèle de machine learning d’OpenAI comme presenté ici.
😜
Je me suis toujours demandé si pour les apps tierces qui demande l’accès à la photothèque, il existe une sécurité iOS empêchant cette appli de télécharger notre photothèque.
Plus largement, est-ce que les autorisations d’accès ont un cadre de fonctionnalités contrôlées et surveillées par iOS où les apps peuvent à loisir télécharger notre agenda, nos contactes, notre photothèque , etc …. Des qu’on donne accès.
@kafy28
Oui
Déjà on peut donner un accès limité aux photos qu’on souhaite.
Ensuite si une l’application envoie des données sur des serveurs il faut le déclarer dans l’app store dans la partie confidentialité. Cela fait partit des tests que l’App Store d’Apple fait de manière sérieuse, pas moyen d’y couper. Donc là on est garanti que l’application n’envoie pas vos photos ailleurs.
@hlemai
@Cyme
Merci pour vos eclaircissements.
hello. Je peux répondre. Techniquement, quand vous donnez accès à votre photothèque, l'app peut accéder aux APIs (aux méthodes officielles exposées par Apple) pour les photos auxquelles vous donnez accès. Donc accéder: à certaines métadonnées, aux imagettes de toutes les tailles, et également lancer des éditions (non destructives). C'est pourquoi il est important de savoir ce que fait une app avec vos données. Apple essaie de vous renseigner via la fiche de contrôle de la vie privée sur l'AppStore dans laquelle le développeur déclare ce qu'il fait.
@Cyme
Je l’ai essayé. Mon iPad Air M1 est vite devenu très chaud. Le travail en local paraît exigeant (Il me dit 2 000 photos?) Les premières requêtes d’essais sont pas mal, avec des erreurs flagrantes. On espérerait qu’Apple améliore cet aspect recherche. Pour mon utilisation, ce serait un abonnement de trop. Bonne continuation.
Donc vos photos se retrouvent sur les serveurs d’OpenAI ? Non merci 😈
@stephmouss
Ok 👍
Bonjour
Il est important de comprendre ce qui se passe dans le cas d'un modèle d'iA comme celui-ci...pour ne pas faire de contre-sens.
Le modèle a été entrainé par OpenAI sur des photos labellisées provenant de jeux de données officiels ou de jeux de donnés construits par OpenAI.
Ensuite le modèle est figé...c'est à dire qu'il ne bouge plus. Il est prêt à être utilisé sur d'autres photos.
Lors de son utilisation, le modèle fait des prédictions avec ce qu'il a appris, mais à aucun moment votre photo n'est envoyée nulle part...le modèle est entrainé, il n'a pas besoin de votre photo.
C'est pourquoi ces modèles, si ils sont utilisés localement, ne transmettent aucune donnée personnelle nulle part.
Donc: NON, vos photos ne se retrouvent pas sur un serveur...elles restent bien au chaud sur votre iPhone.
@Cyme
Très bien merci alors combien pèse ce modèle sur le device ?
Et pourquoi ne pas faire de même avec ChatGPT ?
😈
@R-APPLE-R
à ce propos, vous pouvez expérimenter avec des projets opensource comme Stable Diffusion pour bien comprendre les notions de modèles, et donc le lien entre le modèle et les données réelles, les calculs en local, etc.
Le plus consommateur c'est l’entraînement (la création du modèle de données). Mais une fois le modèle créé (en gros: un fichier en gigaoctets pour être réaliste) , vous pouvez le distribuer au sein d'un logiciel pour faire la recherche/génération d'image en local.
-
chatgpt c'est pareil : openai travaille d'arrache pied pas tant sur l'algorithme que d'entrainer un modèle le plus pertinent et complet qu soit, et de savoir ensuite bien orienter les résultats (pour que ça soit ludique, ou pédagogique ou autre)
du coup:
- le jeu de donnée à une très GRANDE importance : plus votre jeu de donnée est immense, pertinent (de qualité), et plus vous êtes sur des droits d'utilisation (propriété intellectuelle), plus il a de la valeur. une valeur à protéger si vous avez une filiale a but lucratif auquel une entreprise de Redmond a investi disons...13 milliards de mollards
- le modèle entraîné a une grande valeur : c'est lui qui fait tout le sel des résultats. un excellent algo mais avec un modèle tout pourri ne pourra que donner des réponses médiocres. Le modèle est donc LE fichier que vous ne voudriez PAS distribuer si vous voulez capitaliser sur son accès. D'où l'idée de faire payer vos utilisateurs- l'accès à un site web, le modèle étant protégé sur des serveurs.
- il existe maintenant des communautés qui génèrent des modèles en tout genre et les distribuent en gratuit/contributions . ça permet d'avoir accès à des trucs passablement bien puissants sans forcément dépendre de OpenAI ou autre grand acteur commercial et centralisé. le marché se diversifie.
- à ma connaissance OpenAI ne permet pas d'obtenir une copie de leurs modèles et algo pour intégrer dans une application déportée (locale à votre ordi) . Ils font payer aux développeurs l'accès à leur modèles et puissance de calcul, via un système de jetons et forfaits et les développeurs accèdent via une "API" (en python ou autre).
ceci n'est pas très "ouvert" ...
-
comme pour stable diffusion, il existe en opensource, gratuit, divers projets de bot générateurs de textes. Votre principale limite sera le modèle. Il vous sera difficile de rivaliser avec ceux de OpenAi et autre Facebook qui paient des quantités folles de temps de calcul pour entraîner leurs modèles sur des quantités astronomiques de textes.
Mais.. tout bouge, tout évolue vite et des communautés de passionnés s'organisent entre elles via des forums et sites pour créer des modèles toujours plus énormes ou spécialisés en n'importe quoi.
Un exemple de projet opensource de génération de texte à la manière de GPT-4, disponible pour MacOs :
https://lmsys.org/blog/2023-03-30-vicuna/
pour l'installer, il vous faut quand même quelques notions de Terminal. Mais des applications toutes paquetagées avec interface graphique ont sûrement dû déjà émerger
Expérimentez.
@Cyme
Serait-il possible d'ajouter un bouton qui permette d'aller ouvrir une image directement dans l'appli Photos ?
J’aimerais beaucoup avoir ce service dans l’app Photo de Synology !
Je n’ai que la reconnaissance de visage
Je viens de faire un premier test de l'appli en mode Premium.
L'Indexation de 116000 photos sur un 15 pro max a pris 16mn. Cependant le compteur est allé au delà du nombre total de photos. Il a indexé un peu plus de 118000 documents. Un bug ? L'iphone a légèrement chauffé pendant l'indexation mais rien d'alarmant.
Ensuite j'ai testé l'appli avec une requête simple : chat noir. Il a mis 2 mn pour afficher les résultats avec 100% de réussite. Toutes les requêtes suivantes affichaient le résultat instantanément.
Plutôt impressionné à ce stade.
Je n'ai aucun lien avec cette société et ses développeurs. Juste un avis de client payant 😉
merci @powergeek. N'hésitez pas à nous mettre une bonne note sur l'AppStore 😇. C'est très apprécié et ça nous aide énormément.
@Cyme
C'est fait.
Comme Mr CYME est là j’en profite.
J’ai dans mon téléphone des photos de blessés et d’accident de voitures.
Pas triées ni catégorisées.
Je vais pouvoir les retrouver ?
J’aimerais les effacer ou mettre dans un coin sécuriser pour eviter qu’un enfant tombe dessus.
Bonjour @docdav....vous allez pouvoir les trouver, assurément.
Vous pouvez mettre les photos une à une dans un album...mais nous ne supportons pas encore l'ajout en masse de photos dans un album...nous y songeons. Idem pour la suppression.
En revanche, en ce qui concerne la sécurisation, nous n'avons pas de bonne solution à vous proposer.
Sachez néanmoins, que nous n'affichons pas les photos 'cachées' et que nous allons bientôt permettre de cacher des photos qu'on ne souhaite pas effacer, mais supprimer des recherches. Il suffira alors d'aller dans Apple Photos pour afficher les photos cachées si vous devez y accéder.
Bonjour,
Je viens de télécharger et effectivement je suis impressionné.
Avant de passer le pas pour la version payante, je voudrais savoir pourquoi cette limitation a 250 images, cela va-t-il changer ? (9 images en gratuit je comprends bien )
C’est problématique si la recherche doit cibler bien plus que 250 photos. Lesquelles d’ailleurs sont choisies dans ce cas ?
Merci
la limite à 250images est une limite théorique qui pourrait être levée.
Les image choisies sont celles qui sont le plus proches au sens d'une distance au texte rentré (d'ailleurs plus ce texte est précis plus les images du début correspondent à la description. Les images en queue de liste sont les plus éloignées du texte entré.
@Cyme
Merci !
Abonnement pris !!
Questions bêtes car j’utilise déjà queryable.
- la photothèque iCloud est-elle prise en compte ?
- concernant la langue du modèle. Sur son GitHub https://github.com/mazzzystar/Queryable/issues l’auteur de Queryable explique que le modèle multilingue est très lourd à intégrer. Quand est-il de FindMySnap ? Quelles langues sont prises en charge ?
bonjour @mobinaute
- la photothèque iCloud est bien prise en compte.
- le modèle de language est multilingue. Il supporte environ 50 langues. C'était un des challenges techniques de FindMySnap de pouvoir embarquer autant de langues dans un format assez compact. Nous avons testé intensément sur les langues de l'app pour l'instant, soit 9 langues...mais nous allons rajouter d'autres langues après tests.
Tip: il peut arriver que la recherche sur certains mots soit moins efficace en français qu'en anglais. ça fonctionne globalement très bien en FR mais si vous ne trouvez pas la bonne photo vous pouvez tenter en anglais. Merci pour toutes vos questions.
Testé et ce n’est pas très pertinent. J’ai demandé un voiture et il me sort des routes, des champs et même des vaches.
Ce n’est clairement pas au point.
« pourvu que des images correspondantes existent bien évidemment. »
Ah bon !
@powergeek
Merci 🤩
En ce qui concerne l’ouverture dans Apple Photos ce sera au programme d’une mise à jour très rapidement.
"il faut souscrire un abonnement"
Vous auriez dû commencer par ça, ça m'aurait éviter de perdre du temps à lire l'article 😁
Moi ça marche très bien sur Photos, il faut écrire « montagne neige ».
Je suis en train de tester 3 logiciels sur Mac pour retrouver facilement des photos parmi mes 1.4To 😅
Peakto du même éditeur donne en effet des meilleurs résultats en recherche que Photos mais par contre les mots clés attribués à la photo n’ont rien à voir… si je tape « tigre » il me trouve bien des photos de tigres mais en regardant les mots-clés générés par l’IA pour la photo il y’a « banc », « ameublement » « cogné » « chien » mais dans toutes les photos de tigre que j’ai regardé, il n’y a jamais « tigre » dans les mots-clés donc plutôt bizarre…
Par contre si je cherche « chien » il y a quelques photos de tigres mais pas toutes celles avec le mot-clé chien…