ChatGPT couplé aux raccourcis Apple pour doper Siri avec de l'IA

Pierre Dandumont |

Un développeur, Mate Marschalko, a montré une expérience intéressante récemment sur Medium : il a utilisé ChatGPT pour construire l'équivalent des assistants vocaux comme Siri, Alexa ou Google Assistant1.

Une maison HomeKit gérée par ChatGPT

Il explique qu'il dispose d'un logement entièrement domotisé avec des appareils HomeKit, et il a donc utilisé les outils Apple pour remplacer Siri. La première étape a été d'apprendre à ChatGPT comment fonctionne HomeKit, avec un long texte qui présente les bases des commandes et indique qu'il faut générer du JSON, un format de données structuré, employé en JavaScript.

Les explications.

Des commandes bien plus complexes

Le point intéressant de ce choix n'est pas que ChatGPT arrive à générer le code nécessaire pour activer les différents éléments — ce qui est déjà un exploit — mais que la technologie permet de faire des phrases nettement plus compliquées qu'avec les assistants classiques.

Siri et les autres demandent des phrases simples, standardisées et parfois absconses. Typiquement, il faut par exemple dire « Dis Siri, allume la lumière dans le bureau ». Et pas uniquement « Allume dans le bureau », ce qui risque d'activer des prises connectées dans certains cas. Dans un de ces exemples, l'auteur explique qu'il a utilisé la phrase « Je viens de remarquer que j'enregistre cette vidéo dans le noir au bureau. Peux-tu faire quelque chose à ce sujet ? ». Elle est compliquée, ambiguë, et si vous tentez avec Siri, ça ne fonctionne pas2.

Il donne quelques autres exemples dans son article, mais l'idée est là : ChatGPT comprend mieux que Siri et peut contrôler la maison connectée facilement.

Intégrer le tout dans les raccourcis

Nous n'allons pas vous détailler la méthode exacte, vous pouvez aller lire l'article et le raccourci a été partagé. Mais l'idée est de coupler les raccourcis des OS Apple avec les API d'OpenAI, la société à l'origine de ChatGPT. Pour ce cas de figure, l'accès est payant mais le prix demeure assez faible : 0,014 $ par requête, soit à peu près 70 demandes pour 1 $.

Le raccourci est un peu long et basique.

Le raccourci lui-même mériterait une couche de polish sur la logique qui lie les réponses aux commandes, mais l'auteur en est parfaitement conscient. De même, il faut adapter le texte de départ à votre logement, en fonction de vos équipements. Mais dans les faits, et la vidéo vue plus haut le montre bien, son assistant conçu de bric et de broc fonctionne mieux sur pas mal de points que Siri, par exemple. Ce qui explique que Google travaille sur ce genre de technologies.


  1. Devinez qui ne sont jamais cités ? Cortana et Bixby.  ↩︎

  2. Avec cette phrase, Siri m'a répondu « D'après vos réglages, ce HomePod se trouve dans le bureau. »  ↩︎


Tags
avatar abalem | 

Can’t innovate, my ass ! 😜

avatar delolia | 

ça doit suer chez les GAFAM devant la nullité de leur assistant face à la capacité de compréhension de chat GPT. Sauf chez Microsoft qui a vite raflé la mise avec leur investissement de plusieurs milliards dedans.

avatar mat16963 | 

@delolia

Surtout chez Apple, je me demande si ça va les motiver à se bouger un peu pour Siri ? Mais rien n’est moins sûr…

avatar newiphone76 | 

@mat16963

Ce serait vraiment une bonne chose !

avatar roccoyop | 

@mat16963

J’ai bien peur qu’ils ont leur petite roadmap et qu’ils se sentent intouchables, sinon ils auraient déjà amélioré Siri depuis des années.

C’est pas possible de ne pas entendre les critiques depuis autant d’années.

D’ailleurs, j’ai une porte de garage et un portail connecté sur la maison grâce aux modules de Meross. Depuis la mise à jour précédente, quand je demande dans ma voiture connectée en CarPlay s’ouvrir mon portail, Siri me demande systématiquement que je veux ouvrir la porte de garage, le portail ou tout. C’est super pénible parce que niveau compréhension entre garage et portail y a pas photo… et la commande fonctionne parfaitement que je le fais sur l’Apple Watch. Comme si CarPlay est devenu con mais pas le reste. 🤦🏻‍♂️

avatar Arnaud33 | 

@roccoyop

J’ai exactement le même problème avec un module ismartgate, l’Apple Watch ouvre le bon portail/portillon . Alors que l’iPhone me demande ce que je veux ouvrir . Si tu trouves une solution … partage

avatar roccoyop | 

@Arnaud33

« Heureux » de voir ne pas être seul dans ce cas. J’hésite à désinstaller les modules de HomeKit et de les réinstaller, mais ça m’embête de tout refaire et de voir que ça n’a rien changer.

Dès que j’ai la motivation de le faire, je te dis.

avatar pat3 | 

@roccoyop

Je sors tout de suite, mais juste avant de sortir, si tu passes tes commandes comme tu écris… ➡️🚪déjà loin 🙂

avatar cosmoboy34 | 

@delolia

chatgpt va rebattre les cartes de l’ia. C’est pas parfait mais c’est encore jeune et c’est surtout bien plus efficace que tous les autres assistants. Si Apple devait investir dans une entreprise c’était celle là. En espérant qu’ils travaillent à un équivalent. tôt ou tard ils y seront forcés

avatar eldison | 

@delolia

GAFA * , Microsoft est le plus gros investisseur de OpenAI (et ça tourne sur Azure servers 😄 )

De la a dire que Cortana va être utile .. Par contre au niveau de Bing et de la recherche 🧐

J’espère que Siri rattrapera son retard d’une manière ou d’une autre. “Ça ferait plaisir à son homme.”

avatar mat16963 | 

« ChatGPT comprend mieux que Siri » n’importe quelle « IA » (ou abruti) comprend mieux que Siri de toute façon 😂

avatar Darkgam3rz | 

@mat16963

🤣🤣🤣🤣

Tellement vrai 🤣🤣🤣🤣

avatar hugome | 

Intéressant. Ça le serait encore mieux si HomeKit mettait pas 20 secondes pour envoyer un message.

avatar hirtrey | 

"ChatGPT comprend mieux que Siri"
La vrai question est existe t-il quelque chose qui comprend moins que Sira ?

avatar celebration | 

@hirtrey

Ton correcteur orthographique 😉

avatar hirtrey | 

@celebration

ChatGPT ne réponds plus en ce moment, et mon orthographe ne va pas m’empêcher de dormir 😂😂😂
Si cela te dérange, j’en suis vraiment désolé 😇

avatar mruigrok | 

Maintenant le vrai problème c’est qu’Apple préférera perdre 75% de sa capitalisation boursière plutôt que d’intégrer de l’open source !

avatar onilov | 

@mruigrok

Swift, Webkit, et un bonne partie de MacOS sont open source...

avatar mat16963 | 

@mruigrok

Ahahah t’es un marrant toi. Si l’Open Source rapporte à Apple, elle l’intègrera.
La seule et unique préoccupation d’Apple aujourd’hui c’est la maximisation des profits et sa capitalisation boursière, donc ne te fais pas de souci pour eux.

avatar jopaone | 

Ce n’est pas ChatGPT que le gars utilise mais l’API de GPT-3 ce qui n’est pas le même modèle ni le même service !

avatar Pierre Dandumont | 
Les deux. ChatGPT dans la première partie, GPT-3 et son API ensuite.
avatar cherbourg | 

Siri est si terre-à-terre…dire que si l’IA avait été bien avancée à sa création, Apple aurait pu nous le faire passer pour la voix de Dieu 😇

avatar Thms | 

Intégrer l’équivalent avec Siri serait un gros changement de paradigme. Ces IA sont davantage des « boîtes noires », les réponses sont très souvent très pertinentes mais on les maîtrise peu.
Plutôt que d’utiliser Chat GPT qui fonctionne sans savoir pourquoi, Apple préfère utiliser Siri qui ne fonctionne pas, mais au moins elle sait pourquoi 😅

avatar jujulec | 

Bonjour l'usine à gaz !
pour allumer la lumière dans le salon j'ai toujours l'interrupteur en bakélite qui fonctionne depuis 40 ans... sans mise à jour !

avatar 7X | 

@jujulec
Et la chiffonette alcoolisée anti-virus ne requiert pas le mot de passe administrateur.

avatar TiTwo102 | 

C’est quand même impressionnant. On se rapproche d’un language naturel, comme on peut le voir dans les films de SF.

Marrant (ou plutôt désespérant) de voir en comparaison qu’une des plus grosses et riches boite de la planète n’est pas capable de pondre mieux que cette me*de qu’est Siri. Tim doit être trop occupé à savoir si le prochain iPhone devrait être vendu plutôt 200 ou 250€ de plus que l’ancien, alors qu’il n’y aura pas la moindre innovation utile.

avatar volcomito | 

Quelle époque de fou !
Nom de dieu y’a encore quelqu’un qui est capable de bouger son gros cul et d’allumer un interrupteur ????
Ou y’a besoin d’une mise à jour aussi pour ça ?

avatar nnay07 | 

@volcomito

Le jour où l’éruption solaire visera dans le bon sens, ça va faire office d’interrupteur pour beaucoup de choses 😂

avatar R-APPLE-R | 

@volcomito

Vous pouvez le voir comme ça ou comme l’évolution logique.
Et aussi pour les personnes à mobilité réduite : https://is.gd/c250XL 🙂😈

avatar otisphone | 

@volcomito

Qui a parlé d’incapacité à bouger son gros cul ? 🤔

avatar powergeek | 

@volcomito

C'est vrai ! Pourquoi prendre sa voiture pour faire 100km quand on peut le faire en courant en quelques heures ? Le progrès c'est mal 🤪 [A prendre au 2nd degré bien sur]

avatar nnay07 | 

Il y a quand même une différence fondamentale entre les deux: ChatGPT implique que l’IA ne fonctionne pas en local mais sur un serveur internet. Si je ne me trompe pas, Siri fonctionne exclusivement en local (entendez par là l’intelligence de Siri est exclusivement locale et tourne sur le terminal, iPhone ou autre). Et c’est un choix délibéré d Apple pour garantir la confidentialité des requêtes faites à Siri.
Avoir une IA web based marque toute la différence. Et c’est vrai que ChatGPT est clairement au dessus du lot, ce n’est pas une critique.

avatar jopaone | 

@nnay07

Oui bien vu, vous mettez exactement le doigt sur le problème d’Apple, la volonté de la pomme est de faire tourner le maximum de choses en local , inconcevable (à l’heure actuelle) d’utiliser de cette manière un modèle de langage aussi large que celui de ChatGPT.

avatar Pierre Dandumont | 
Pas exactement. Une partie de Siri est chez Apple (la reconnaissance vocale elle-même, sauf dans quelques cas particuliers). Après, ça n'empêche pas d'effectuer certains traitements un peu mieux que maintenant.
avatar misterbrown | 

Quand les assistants vocaux auront ce niveau.
Je m’y mettrai.

Pas envie de parler en langage de demeuré pour l’instant.

avatar powergeek | 

ChatGPT c'est comme Netscape au début d'internet ou l'interface graphique/souris du premier Mac. On ne reviendra plus en arrière. Hâte de voir les évolutions et les usages.

avatar jopaone | 

En parlant d’incapacité à se bouger le cul, à lire dans Le Monde rubrique Les Décodeurs « Qui pourrait se passer de sa voiture », sur la mobilité des français :

33 % des déplacements domicile-travail sont inférieurs à 5 km

43 % des automobilistes pourraient se déplacer à pied ou à vélo

avatar Paquito06 | 

Certains n’ont tjrs pas compris qu’il n’existait aucune once d’IA au sein de Siri, qui n’a donc pas evolué depuis sa creation il y a 25-30 ans. That’s why we call it “assistant personnel”. Car ChatGPT dans 20 ans ca sera encore une autre histoire, alors que Siri 🤣😴

avatar Kriskool | 

L’intelligence artificielle signera la fin de l’intelligence humaine…

avatar iDanny | 

Ce qui est dommage c’est qu’on est obligés pour le moment « d’initialiser » le contexte à chaque requête, pour expliquer à l’IA comment utiliser HomeKit.
C’est ce qu’on voit au début du raccourci, et c’est pas super efficace de l’envoyer à chaque demande 😐
Il faudrait avoir un historique conservé pour chaque utilisateur, mais là ça va commencer à être complexe…

avatar jopaone | 

@iDanny

C’est le principe de ce type d’IA générative , même ChatGPT en réalité a un contexte (caché) que l’on envoie à chaque requête

avatar iDanny | 

@jopaone

ChatGPT conserve le contexte dans une « session », mais pas d’un jour à l’autre par exemple.

Avoir des assistants IA qui conservent tout l’historique de nos échanges depuis le début serait à la fois très puissant, mais aussi pas pratique voire dangereux si on ne peut rien leur faire « oublier »… comme si on établissait une relation avec un humain mais qu’on pouvait choisir de conserver ou corriger certains éléments de notre histoire commune 🤔

Si tu insultes l’assistant pour rigoler et qu’il s’en rappelle, il y a le fameux risque d’aboutir à Skynet 😁
Donc il faudrait pouvoir faire un « reset » de tout ou partie de nos échanges… mais avec toujours la peur que ça ne soit pas vraiment pris en compte 😬😅

avatar jopaone | 

@iDanny

Je ne suis pas allé voir comment la construction du contexte fonctionne exactement (a priori certains malins ont réussi à le faire apparaître) mais assez logiquement je dirais qu’un contexte de ChatGPT se constitue par discussion, si vous faites un « new chat » ça initialise une nouveau contexte. Par contre je ne sais pas si la discussion entière est envoyée à chaque requête , ça me parait énorme. Sur GPT-3 c’est limité à un certains nombre de mots (ou équivalence de mots).

CONNEXION UTILISATEUR