ChatGPT couplé aux raccourcis Apple pour doper Siri avec de l'IA
Un développeur, Mate Marschalko, a montré une expérience intéressante récemment sur Medium : il a utilisé ChatGPT pour construire l'équivalent des assistants vocaux comme Siri, Alexa ou Google Assistant1.
Une maison HomeKit gérée par ChatGPT
Il explique qu'il dispose d'un logement entièrement domotisé avec des appareils HomeKit, et il a donc utilisé les outils Apple pour remplacer Siri. La première étape a été d'apprendre à ChatGPT comment fonctionne HomeKit, avec un long texte qui présente les bases des commandes et indique qu'il faut générer du JSON, un format de données structuré, employé en JavaScript.
Des commandes bien plus complexes
Le point intéressant de ce choix n'est pas que ChatGPT arrive à générer le code nécessaire pour activer les différents éléments — ce qui est déjà un exploit — mais que la technologie permet de faire des phrases nettement plus compliquées qu'avec les assistants classiques.
Siri et les autres demandent des phrases simples, standardisées et parfois absconses. Typiquement, il faut par exemple dire « Dis Siri, allume la lumière dans le bureau ». Et pas uniquement « Allume dans le bureau », ce qui risque d'activer des prises connectées dans certains cas. Dans un de ces exemples, l'auteur explique qu'il a utilisé la phrase « Je viens de remarquer que j'enregistre cette vidéo dans le noir au bureau. Peux-tu faire quelque chose à ce sujet ? ». Elle est compliquée, ambiguë, et si vous tentez avec Siri, ça ne fonctionne pas2.
Il donne quelques autres exemples dans son article, mais l'idée est là : ChatGPT comprend mieux que Siri et peut contrôler la maison connectée facilement.
Intégrer le tout dans les raccourcis
Nous n'allons pas vous détailler la méthode exacte, vous pouvez aller lire l'article et le raccourci a été partagé. Mais l'idée est de coupler les raccourcis des OS Apple avec les API d'OpenAI, la société à l'origine de ChatGPT. Pour ce cas de figure, l'accès est payant mais le prix demeure assez faible : 0,014 $ par requête, soit à peu près 70 demandes pour 1 $.
Le raccourci lui-même mériterait une couche de polish sur la logique qui lie les réponses aux commandes, mais l'auteur en est parfaitement conscient. De même, il faut adapter le texte de départ à votre logement, en fonction de vos équipements. Mais dans les faits, et la vidéo vue plus haut le montre bien, son assistant conçu de bric et de broc fonctionne mieux sur pas mal de points que Siri, par exemple. Ce qui explique que Google travaille sur ce genre de technologies.
Can’t innovate, my ass ! 😜
ça doit suer chez les GAFAM devant la nullité de leur assistant face à la capacité de compréhension de chat GPT. Sauf chez Microsoft qui a vite raflé la mise avec leur investissement de plusieurs milliards dedans.
@delolia
Surtout chez Apple, je me demande si ça va les motiver à se bouger un peu pour Siri ? Mais rien n’est moins sûr…
@mat16963
Ce serait vraiment une bonne chose !
@mat16963
J’ai bien peur qu’ils ont leur petite roadmap et qu’ils se sentent intouchables, sinon ils auraient déjà amélioré Siri depuis des années.
C’est pas possible de ne pas entendre les critiques depuis autant d’années.
D’ailleurs, j’ai une porte de garage et un portail connecté sur la maison grâce aux modules de Meross. Depuis la mise à jour précédente, quand je demande dans ma voiture connectée en CarPlay s’ouvrir mon portail, Siri me demande systématiquement que je veux ouvrir la porte de garage, le portail ou tout. C’est super pénible parce que niveau compréhension entre garage et portail y a pas photo… et la commande fonctionne parfaitement que je le fais sur l’Apple Watch. Comme si CarPlay est devenu con mais pas le reste. 🤦🏻♂️
@roccoyop
J’ai exactement le même problème avec un module ismartgate, l’Apple Watch ouvre le bon portail/portillon . Alors que l’iPhone me demande ce que je veux ouvrir . Si tu trouves une solution … partage
@Arnaud33
« Heureux » de voir ne pas être seul dans ce cas. J’hésite à désinstaller les modules de HomeKit et de les réinstaller, mais ça m’embête de tout refaire et de voir que ça n’a rien changer.
Dès que j’ai la motivation de le faire, je te dis.
@roccoyop
Je sors tout de suite, mais juste avant de sortir, si tu passes tes commandes comme tu écris… ➡️🚪déjà loin 🙂
@delolia
chatgpt va rebattre les cartes de l’ia. C’est pas parfait mais c’est encore jeune et c’est surtout bien plus efficace que tous les autres assistants. Si Apple devait investir dans une entreprise c’était celle là. En espérant qu’ils travaillent à un équivalent. tôt ou tard ils y seront forcés
@delolia
GAFA * , Microsoft est le plus gros investisseur de OpenAI (et ça tourne sur Azure servers 😄 )
De la a dire que Cortana va être utile .. Par contre au niveau de Bing et de la recherche 🧐
J’espère que Siri rattrapera son retard d’une manière ou d’une autre. “Ça ferait plaisir à son homme.”
« ChatGPT comprend mieux que Siri » n’importe quelle « IA » (ou abruti) comprend mieux que Siri de toute façon 😂
@mat16963
🤣🤣🤣🤣
Tellement vrai 🤣🤣🤣🤣
Intéressant. Ça le serait encore mieux si HomeKit mettait pas 20 secondes pour envoyer un message.
"ChatGPT comprend mieux que Siri"
La vrai question est existe t-il quelque chose qui comprend moins que Sira ?
@hirtrey
Ton correcteur orthographique 😉
@celebration
ChatGPT ne réponds plus en ce moment, et mon orthographe ne va pas m’empêcher de dormir 😂😂😂
Si cela te dérange, j’en suis vraiment désolé 😇
Maintenant le vrai problème c’est qu’Apple préférera perdre 75% de sa capitalisation boursière plutôt que d’intégrer de l’open source !
@mruigrok
Swift, Webkit, et un bonne partie de MacOS sont open source...
@mruigrok
Ahahah t’es un marrant toi. Si l’Open Source rapporte à Apple, elle l’intègrera.
La seule et unique préoccupation d’Apple aujourd’hui c’est la maximisation des profits et sa capitalisation boursière, donc ne te fais pas de souci pour eux.
Ce n’est pas ChatGPT que le gars utilise mais l’API de GPT-3 ce qui n’est pas le même modèle ni le même service !
Siri est si terre-à-terre…dire que si l’IA avait été bien avancée à sa création, Apple aurait pu nous le faire passer pour la voix de Dieu 😇
Intégrer l’équivalent avec Siri serait un gros changement de paradigme. Ces IA sont davantage des « boîtes noires », les réponses sont très souvent très pertinentes mais on les maîtrise peu.
Plutôt que d’utiliser Chat GPT qui fonctionne sans savoir pourquoi, Apple préfère utiliser Siri qui ne fonctionne pas, mais au moins elle sait pourquoi 😅
Bonjour l'usine à gaz !
pour allumer la lumière dans le salon j'ai toujours l'interrupteur en bakélite qui fonctionne depuis 40 ans... sans mise à jour !
@jujulec
Et la chiffonette alcoolisée anti-virus ne requiert pas le mot de passe administrateur.
C’est quand même impressionnant. On se rapproche d’un language naturel, comme on peut le voir dans les films de SF.
Marrant (ou plutôt désespérant) de voir en comparaison qu’une des plus grosses et riches boite de la planète n’est pas capable de pondre mieux que cette me*de qu’est Siri. Tim doit être trop occupé à savoir si le prochain iPhone devrait être vendu plutôt 200 ou 250€ de plus que l’ancien, alors qu’il n’y aura pas la moindre innovation utile.
Quelle époque de fou !
Nom de dieu y’a encore quelqu’un qui est capable de bouger son gros cul et d’allumer un interrupteur ????
Ou y’a besoin d’une mise à jour aussi pour ça ?
@volcomito
Le jour où l’éruption solaire visera dans le bon sens, ça va faire office d’interrupteur pour beaucoup de choses 😂
@volcomito
Vous pouvez le voir comme ça ou comme l’évolution logique.
Et aussi pour les personnes à mobilité réduite : https://is.gd/c250XL 🙂😈
@volcomito
Qui a parlé d’incapacité à bouger son gros cul ? 🤔
@volcomito
C'est vrai ! Pourquoi prendre sa voiture pour faire 100km quand on peut le faire en courant en quelques heures ? Le progrès c'est mal 🤪 [A prendre au 2nd degré bien sur]
Il y a quand même une différence fondamentale entre les deux: ChatGPT implique que l’IA ne fonctionne pas en local mais sur un serveur internet. Si je ne me trompe pas, Siri fonctionne exclusivement en local (entendez par là l’intelligence de Siri est exclusivement locale et tourne sur le terminal, iPhone ou autre). Et c’est un choix délibéré d Apple pour garantir la confidentialité des requêtes faites à Siri.
Avoir une IA web based marque toute la différence. Et c’est vrai que ChatGPT est clairement au dessus du lot, ce n’est pas une critique.
@nnay07
Oui bien vu, vous mettez exactement le doigt sur le problème d’Apple, la volonté de la pomme est de faire tourner le maximum de choses en local , inconcevable (à l’heure actuelle) d’utiliser de cette manière un modèle de langage aussi large que celui de ChatGPT.
Quand les assistants vocaux auront ce niveau.
Je m’y mettrai.
Pas envie de parler en langage de demeuré pour l’instant.
ChatGPT c'est comme Netscape au début d'internet ou l'interface graphique/souris du premier Mac. On ne reviendra plus en arrière. Hâte de voir les évolutions et les usages.
En parlant d’incapacité à se bouger le cul, à lire dans Le Monde rubrique Les Décodeurs « Qui pourrait se passer de sa voiture », sur la mobilité des français :
33 % des déplacements domicile-travail sont inférieurs à 5 km
43 % des automobilistes pourraient se déplacer à pied ou à vélo
Certains n’ont tjrs pas compris qu’il n’existait aucune once d’IA au sein de Siri, qui n’a donc pas evolué depuis sa creation il y a 25-30 ans. That’s why we call it “assistant personnel”. Car ChatGPT dans 20 ans ca sera encore une autre histoire, alors que Siri 🤣😴
L’intelligence artificielle signera la fin de l’intelligence humaine…
Ce qui est dommage c’est qu’on est obligés pour le moment « d’initialiser » le contexte à chaque requête, pour expliquer à l’IA comment utiliser HomeKit.
C’est ce qu’on voit au début du raccourci, et c’est pas super efficace de l’envoyer à chaque demande 😐
Il faudrait avoir un historique conservé pour chaque utilisateur, mais là ça va commencer à être complexe…
@iDanny
C’est le principe de ce type d’IA générative , même ChatGPT en réalité a un contexte (caché) que l’on envoie à chaque requête
@jopaone
ChatGPT conserve le contexte dans une « session », mais pas d’un jour à l’autre par exemple.
Avoir des assistants IA qui conservent tout l’historique de nos échanges depuis le début serait à la fois très puissant, mais aussi pas pratique voire dangereux si on ne peut rien leur faire « oublier »… comme si on établissait une relation avec un humain mais qu’on pouvait choisir de conserver ou corriger certains éléments de notre histoire commune 🤔
Si tu insultes l’assistant pour rigoler et qu’il s’en rappelle, il y a le fameux risque d’aboutir à Skynet 😁
Donc il faudrait pouvoir faire un « reset » de tout ou partie de nos échanges… mais avec toujours la peur que ça ne soit pas vraiment pris en compte 😬😅
@iDanny
Je ne suis pas allé voir comment la construction du contexte fonctionne exactement (a priori certains malins ont réussi à le faire apparaître) mais assez logiquement je dirais qu’un contexte de ChatGPT se constitue par discussion, si vous faites un « new chat » ça initialise une nouveau contexte. Par contre je ne sais pas si la discussion entière est envoyée à chaque requête , ça me parait énorme. Sur GPT-3 c’est limité à un certains nombre de mots (ou équivalence de mots).