Google Photos : la recherche va apprendre le langage naturel

Florian Innocente |

Avec Ask Photos, Google va intégrer une fonction de recherche en langage naturel dans Google Photos pour aller au-delà des simples mots clefs.

C'est une fonction encore expérimentale qui a été révélée durant la Google I/O. Ask Photos est toutefois destiné à intégrer Google Photos à terme et il vise les utilisateurs lambda.

Sundar Pichai lors de la Google I/O.

Google emploie son modèle Gemini pour autoriser des requêtes en langage naturel plutôt que des mots clefs tapés à la queue leu leu dans un champ de recherche. Illustration de cette possibilité avec la requête : « montre-moi les meilleures photos de chacun des parcs nationaux que j'ai visités ». Ask Photos retourne une liste de clichés qu'il estime pertinents.

Gemini ne va pas se contenter des métadonnées d'une image et de certains de ses attributs pour remonter des photos ou vidéos à la surface de l'écran, il analyse également le contenu d'une scène, les personnes qui y sont et divers détails secondaires qui la constituent.

L'exemple suivant est la requête : « Quels sont les thèmes que nous avons utilisés pour les fêtes d'anniversaire de Lena ? » Arrive alors une liste d'images où l'on peut voir la décoration des lieux ou les déguisements des enfants qui sont autant d'indices et d'indications.

Dans les deux cas, les galeries de photos obtenues en réponse sont complétées d'un résumé textuel sur la raison de leur choix. Dans le second exemple, Gemini rédige une synthèse des thèmes utilisés pour chacun des anniversaires.

Enfin, Gemini pourra venir à la rescousse pour faire le tri dans les quantités volumineuses de photos que l'on aura rapporté d'un voyage. Il aura pour mission, sur demande, d'en dégager les plus intéressantes ou représentatives et même de rédiger une légende en vue d'un partage sur les réseaux sociaux.

Ne manque plus que Gemini vous disent quoi photographier durant un voyage et la boucle sera bouclée…

Astuce : avoir la fonction « Encercler pour chercher » des téléphones Android sur iPhone

Astuce : avoir la fonction « Encercler pour chercher » des téléphones Android sur iPhone

Les outils de retouche photo par IA de Google arrivent sur iOS

Les outils de retouche photo par IA de Google arrivent sur iOS

avatar raoolito | 

je suis curieux 🧐 de savoir ce sue pensent ceux qui continuent de prétendre que l'ia generative n'est qu'un effet de mode inutile.

a minima c'est un pas de geant dans des fonctions certes présentes auparavant mais en (beaucoup) moins bien

avatar Furious Angel | 

@raoolito

C’est marrant, j’ai écrit l’inverse en même temps. C’est spectaculaire mais j’ai du mal à voir des usages de développer…

avatar raoolito | 

@Furious Angel

considérer ça comme de l'infusion
Pris séparément, ce sont des petits détails mais on se retrouve dans deux ou trois ans et il sera quasiment impossible d'avoir une activité informatique sans utiliser de l'intelligence artificielle toutes les minutes

avatar Furious Angel | 

@raoolito

Ça j’en doute énormément, surtout qu’on présente quasiment que des gadgets pour le moment.

Les révolutions promises depuis dix ans ne se concrétisent pas. Les télés 3D, le metavers, les NFT, les lunettes connectées… pour le moment ce sont des effets de mode qui se succèdent dans la tech. L’IA générative doit encore démontrer qu’elle est plus que ça.

avatar raoolito | 

wait & see cher Furious, wait and see

avatar pat3 | 

@raoolito

"on se retrouve dans deux ou trois ans et il sera quasiment impossible d'avoir une activité informatique sans utiliser de l'intelligence artificielle toutes les minutes"

En n’ayant plus aucun libre arbitre quant à ce qu’on voudra faire, et aucune possibilité de désactiver ces putains d’IA. La phrase précédente sera juste impossible, immédiatement corrigée tandis que je perdrais quelques points sociaux à avoir oser proférer une telle insulte au progrès de l’humanité.

avatar DahuLArthropode | 

@pat3

"aucune possibilité de désactiver ces putains d’IA. La phrase précédente sera juste impossible"

Vous vous adapterez, comme les Chinois qui détournent le vocabulaire pour contourner la censure. Dites « ces péripatéticiennes d’IA » jusqu’à ce que les IA le repèrent.

avatar pat3 | 

@raoolito

"je suis curieux 🧐 de savoir ce sue pensent ceux qui continuent de prétendre que l'ia generative n'est qu'un effet de mode inutile."

Ce sue j’ai lu dans cet article continue d’être profondément inutile, en ce qui me concerne. Trier ses photos de vacances, ça fait partie des prolongements desdites vacances, normalement. Et parmi mes photos de vacances, il peu y en avoir de floues, mal éclairées, ou mal cadrées, mais qui correspondent à un bon moment qu’elles me remettent en mémoire et dont elles témoignent.
Là ça donne l’impression que même les photos de vacances doivent être efficaces… on se demande bien pourquoi.

avatar sebas_ | 

@pat3

Au moins les photos sélectionnées seront instagrammables.
On s’en fout des souvenirs, on voyage pour les likes non?

avatar pat3 | 

@sebas_

🙂… 🫠… 😕…😥

avatar sebas_ | 

@pat3

Je précise: je suis un photographe amateur, et je me ballade souvent avec mon appareil (surtout en voyage, bien que je fasse pas mal de studio aussi), et gérer ses RAWs fait partie intégrante du workflow du photographe.
La dernière photo que j’ai poste sur Instagram doit bien avoir 2-3 ans

avatar pat3 | 

@sebas_

Ouf 🙂

avatar Artefact3000 | 

@raoolito

Par exemple, Google Photo me propose de créer un album photos et de choisir les personnes qui y seront. Résultat? Je dois trier les photos et enlever les moches. Je me retrouve à faire plus ou moins le même processus que si j’avais moi-même choisi les photos.

avatar Furious Angel | 

On est quand même très loin des usages grand public avec l’IA. À chaque fois que je dis aux gens ce qu’ils peuvent faire avec la recherche de leur app photos (sur iOS comme Android), ils tombent des nues. Donc des recherches si spécifiques… C’est spectaculaire mais ça ne correspond pas vraiment aux usages.

avatar raoolito | 

@Furious Angel

alors ça il y a quand même sur Apple énormément énormément de travail d'évangélisation pour expliquer tout ce qu'il est possible possible de faire
D'ailleurs c'est là que je re rejoindrai presque presque ceux qui disent qu'avoir un Device Apple c'est d'abord pour "paraître" car savoir l'utiliser vraiment avec toutes ses capacités c'est beaucoup plus rare

(je pense que l'intelligence artificielle generative version Apple sera donc forcément plus intelligente que celle qu'on peut deja avoir)

avatar Glop0606 | 

Perso, à chaque fois que je vois ce genre de news sur l'IA, c'est quid des données personnelles? Donc en gros l'IA sur des serveurs extérieurs passent nos photos en revue et les metaanalysent avec la force de l'IA. Mais où vont toutes ces data? Nos images servent-elles à entrainer l'IA? Y'aura t'il ainsi des morceaux de nous dans la génération d'images? Enfin le profilage de nos photos sert-il à alimenter Google Ads? Le profilage de nos photos par l'IA pourrait être problématique. J'exagère mais disons que vous aimiez faire des photos de vous entrain de faire des barbecues, de manger des hamburgers, des saucisses, etc,... vous avez peut-être un peu d'embonpoint. Donc au mieux vous allez recevoir des pubs pour mincir au pire, votre complémentaire assurance pourrait augmenter (attention je fais de l'anticipation et heureusement il n'y a pas encore de lien entre notre profilage publicitaire et notre personne réel).

avatar Furious Angel | 

@Glop0606

Pour le ciblage publicitaire, le algorithmes n’ont pas besoin de ça et sont nettement plus précis. Si tu like une photo de Dua Lipa, que tu lis 2 articles sur un site de F1 et que tu regarde la vidéo d’un magicien, ils arrivent à déterminer qu’il faut te montrer une pub McDo ou pour un voyage à Londres, parce que même si ces choses ont l’air de ne rien avoir en commun, elles définissent un profil et des usages partagés avec d’autres. Au final, y’a pas besoin voir des photos de burger ou que tu fasses des recherches sur les musées londoniens

avatar pat3 | 

@Furious Angel

"Pour le ciblage publicitaire, le algorithmes n’ont pas besoin de ça et sont nettement plus précis"

Ils le seront d’autant plus qu’ils pourront recouper les infos qu’ils ont déjà avec celles que l’IA pourra ajouter. Par principe, ne pas nourrir l’ogre ralentit sa croissance, sinon on contribue à l’accélérer.

avatar Seb42 | 

Alors là 👏 inventer une technologie de langage “naturel” pour retrouver des photos truquées / irréelles.
Je crois que l’on se paluche pas mal.

Tout ça pour retrouver peut être une photo prise on sait quand que l’on a jamais regardé une seule fois depuis qu’elle a été prise.
Ah on peut remercier tous les gens qui ont stocké leurs photo chez Google, qui s’en est bien servi pour developer son truc et son IA générative.

avatar pat3 | 

@Seb42

"Alors là 👏 inventer une technologie de langage “naturel” pour retrouver des photos truquées / irréelles.
Je crois que l’on se paluche pas mal."

Dans la même veine : l’IA aura enlevé/ajouté des éléments aux photos au gré des humeurs du moment, ce qui fait que tu pourras retrouver des photos de vacances avec ta nouvelle copine à la place de ton ex alors que tu ne la connaissais pas au moment où les photos auront été prises.
La falsification des souvenirs en mode « abyme ».
De quoi faire une belle série SF.

avatar Seb42 | 

@pat3

J’ai beaucoup aimé le cas de figure 👍.
Au secours, et on appelle tout ça le progrès 😂.

avatar pat3 | 

"Ne manque plus que Gemini vous disent quoi photographier durant un voyage et la boucle sera bouclée…"

Non, la boucle sera bouclée, quand Gemini prendra tout seul les photos « intéressantes » de vos vacances, et décidera du moment où vous devrez regarder ces souvenirs censés être les vôtres. .

avatar DG33 | 

@pat3

On, la boucle sera bouclée quand tu demanderas à l’IA de te montrer les vacances dont tu rêves, et le tout en immersion 3D dans ton Apple Vision Pro.
Même plus besoin de bouger…
🤮

avatar aelzhu | 

ça moud beaucoup de grain dans les commentaires mais sachez que vous n'êtes pas obligés d'utiliser les applications installées par défaut sur vos téléphones, il y a de nombreuses très bonnes alternatives.

avatar Saginours | 

Petite histoire de connexion de données datant de 2006…
" - Commande de Pizza -

Standardiste : Speed-Pizza, bonjour.

Client : Bonjour, je souhaite passer une commande s’il vous plaît.

Standardiste : Oui, puis-je avoir votre NIN, Monsieur ?

Client : Mon Numéro d’Identification National ? Oui, un instant, voilà, c’est le 6102049998-45-54610.

Standardiste : Je me présente, je suis Noa Legarrec-Garcia. Merci M. Jacques Lavoie. Donc, nous allons actualiser votre fiche, votre adresse est bien le 174, avenue de Villiers à Carcassonne, et votre numéro de téléphone le 04 68 69 69 69. Votre numéro de téléphone professionnel à la Société Durand est le 04 72 25 55 41 et votre numéro de téléphone mobile le 06 06 05 05 01. C’est bien ça, Monsieur Lavoie ?

Client (timidement) : Oui !

Standardiste : Je vois que vous appelez d’un autre numéro qui correspond au domicile de Melle Isabelle Denoix, qui est votre assistante technique. Sachant qu’il est 23h30 et que vous êtes en RTT, nous ne pourrons vous livrer au domicile de Melle Denoix que si vous nous envoyez un XMS à partir de votre portable en précisant le code suivant AZ25/JkPp+88.

Client : Bon, je le fais, mais d’où sortez-vous toutes ces informations ?

Standardiste : Nous sommes connectés au système croisé, Monsieur Lavoie.

Client (soupir) : Ah bon ! Je voudrais deux de vos pizzas spéciales mexicaines.

Standardiste : Je ne pense pas que ce soit une bonne idée, Monsieur Lavoie.

Client : Comment ça ???…

Standardiste : Votre contrat d’assurance maladie vous interdit un choix aussi dangereux pour votre santé, car selon votre dossier médical, vous souffrez d’hypertension et d’un niveau de cholestérol supérieur aux valeurs contractuelles. D’autre part, Melle Denoix ayant été médicalement traitée il y a trois mois pour hémorroïdes, le piment est fortement déconseillé. Si la commande est maintenue, la société qui l’assure risque d’appliquer une surprime.

Client : Aie ! Qu’est-ce que vous me proposez alors ?

Standardiste : Vous pouvez essayer notre pizza allégée au yaourt de soja, je suis sûre que vous l’adorerez…

Client : Qu’est-ce qui vous fait croire que je vais aimer cette pizza ?

Standardiste : Vous avez consulté les “Recettes gourmandes au soja” à la bibliothèque de votre comité d’entreprise la semaine dernière, Monsieur Lavoie et Melle Denoix a fait, avant-hier, une recherche sur le Net, en utilisant le moteur “booglle2.con” avec comme mots clés “soja” et “alimentation”. D’où ma suggestion.

Client : Bon d’accord. Donnez-m’en deux, format familial.

Standardiste : Vu que vous êtes actuellement traité par Dipronex et que Melle Denoix prend depuis deux mois du Ziprovac à la dose de trois comprimés par jour et que la pizza contient, selon la législation, 150 mg de Phénylseptine par 100g de pâte, il y a un risque mineur de nausées si vous consommez le modèle familial en moins de sept minutes. La législation nous interdit donc de vous livrer. En revanche, j’ai le feu vert pour vous livrer immédiatement le modèle mini.

Client : Bon, bon, ok, va pour le modèle mini. Je vous donne mon numéro de carte de crédit.

Standardiste : Je suis désolée Monsieur, mais je crains que vous ne soyez obligé de payer en liquide. Votre solde de carte de crédit Visa dépasse la limite et vous avez laissé votre carte American Express sur votre lieu de travail. C’est ce qu’indique le Credicard Satellis Tracer.

Client : J’irai chercher du liquide au distributeur avant que le livreur n’arrive.

Standardiste : Ça ne marchera pas non plus, Monsieur Lavoie, vous avez dépassé votre plafond de retrait hebdomadaire.

Client : Mais, ce n’est pas vos oignons ! Contentez-vous de m’envoyer les pizzas ! J’aurai le liquide. Combien de temps ça va prendre ?

Standardiste : Compte tenu des délais liés aux contrôles de qualité, elles seront chez vous dans environ quarante-cinq minutes. Si vous êtes pressé, vous pouvez gagner dix minutes en venant les chercher, mais transporter des pizzas en scooter est pour le moins acrobatique.

Client : Comment diable pouvez-vous savoir que j’ai un scooter ?

Standardiste : Votre Peugeot 408 est en réparation au garage de l’Avenir, en revanche, votre scooter est en bon état puisqu’il a passé le contrôle technique hier et qu’il est actuellement stationné devant le domicile de Melle Denoix. Par ailleurs j’attire votre attention sur les risques liés à votre taux d’alcoolémie. Vous avez, en effet réglé quatre cocktails Afroblack au Tropical Bar, il y a quarante-cinq minutes. En tenant compte de la composition de ce cocktail et de vos caractéristiques morphologiques, ni vous, ni Melle Denoix n’êtes en état de conduire. Vous risquez donc un retrait de permis immédiat.

Client : @#/$@& ?# !

Standardiste : Je vous conseille de rester poli, Monsieur Lavoie. Je vous informe que notre standard est doté d’un système anti-insulte en ligne qui se déclenchera à la deuxième série d’insultes. Je vous informe en outre que le dépôt de plainte est immédiat et automatisé. Or, je vous rappelle que vous avez déjà été condamné en juillet 2014 pour outrage à agent.

Client (sans voix) : …

Standardiste : Autre chose, Monsieur Lavoie ?

Client : Non, rien. Ah si, n’oubliez pas le Coca gratuit avec les pizzas, conformément à votre pub.

Standardiste : Je suis désolée, Monsieur Lavoie, mais notre démarche qualité nous interdit de proposer des sodas gratuits aux personnes en surpoids. Cependant à titre de dédommagement, je peux vous consentir 15% de remise sur une adhésion flash au contrat Jurishelp, le contrat de protection et d’assistance juridique de Speed assurance. Ce contrat pourrait vous être utile, car il couvre, en particulier, les frais annexes liés au divorce… Vu que vous êtes marié à Mme Claire Lavoie, née Girard, depuis le 15/02/2008 et vu votre présence tardive chez Melle Denoix, ainsi que l’achat il y a une heure à la pharmacie du Canal d’une boîte de quinze préservatifs et d’un flacon de lubrifiant à usage intime. À titre promotionnel, je vais faire joindre aux pizzas un bon de 5 euros de réduction pour vos prochains achats de préservatifs valable chez Speed-Parapharma. Toutefois, veuillez éviter les pratiques susceptibles d’irriter les hémorroïdes de Melle Denoix, pour lesquelles Speed-Parapharma se dégage de toute responsabilité.

Bonsoir Monsieur et merci d’avoir fait appel à Speed-Pizza"

avatar Saginours | 

À l’époque c’était de l’humour d’informaticien branché IT …
Alors les photos et l’AI … faites moi rire SVP 😅

CONNEXION UTILISATEUR