Qui n’a pas rêvé d’avoir un assistant intelligent pour gérer son quotidien ? Iron Man en a créé un dans des comics et au cinéma, mais Mark Zuckerberg a fait mieux : il a installé Jarvis chez lui, pour contrôler toute sa maison. Allumer et éteindre les lumières, régler la température, contrôler la musique et même griller du pain ou passer un nouveau t-shirt, son assistant est désormais au cœur de son quotidien et de celui de sa famille.

Jarvis était le projet personnel du créateur de Facebook pour 2016 et il a passé l’année à développer un assistant capable de comprendre ses requêtes et les appliquer. Côté interface, Mark Zuckerberg a opté essentiellement pour une app sur son smartphone, mais il peut aussi utiliser un ordinateur. Il peut parler à Jarvis, ou lui écrire en passant par Messenger et ses robots. Quand il répond, l’assistant emprunte la voix de Morgan Freeman ce qui est, il faut bien le dire, une excellente idée.

Facebook est au cœur du projet, après tout il s’agissait aussi d’exploiter les technologies d’intelligence artificielle déjà en place dans la société pour mieux les comprendre et les améliorer. La maison de Mark Zuckerberg est aussi directement reliée au réseau interne de l’entreprise et il fallait concevoir un assistant parfaitement sécurisé. Cette exigence a rendu impossible quelques intégrations : par exemple, le frigidaire connecté de la cuisine n’était pas assez sûr et il n’est pas relié à Jarvis.

Le projet a repris de nombreuses idées que l’on retrouve dans des produits commerciaux, notamment les contrôles à la voix de la lumière ou de la musique via des enceintes Sonos. Le portail est aussi relié au système et la reconnaissance faciale de Facebook a été exploitée pour savoir qui sonne à la porte. Mais là où Mark Zuckerberg a essayé d’aller plus loin, c’est sur l’intelligence artificielle.

L’assistant est capable de savoir qui parle pour ajuster ses réponses. Par exemple, si Mark demande de la musique, il aura un morceau en fonction de ses goûts, mais si c’est sa femme Priscilla, elle obtiendra un autre titre. Et s’ils sont tous les deux dans la pièce ? Jarvis sélectionnera un morceau qui plait aux deux. Et si cela ne convient pas, les Zuckerberg peuvent exprimer leur mécontentement et le système ajustera ses réponses. Jarvis sait également qui est dans quelle pièce à n’importe quel moment pour gérer la bonne lumière. Et s’il reconnaît quelqu’un de la famille à l’entrée, il ouvre la porte de lui-même et envoie une notification dans la foulée.

Jarvis n’est pas un projet commercial et il en est encore loin. Pour connecter tous ses appareils, Mark Zuckerberg a souvent été contraint de bricoler, soit physiquement (une prise connectée sur un vieux grille-pain), soit côté logiciel. Les appareils connectés étaient souvent beaucoup trop simples pour répondre aux besoins du projet et il a fallu utiliser la rétro-ingénierie pour créer des moyens de communiquer avec ces éléments.

Par ailleurs, le système n’est pas parfait et l’assistant se trompe encore souvent sur la pièce où éteindre ou allumer les lumières, ou alors il faut lui demander deux ou trois fois quelque chose pour obtenir satisfaction. Tous les utilisateurs de domotique le savent, c’est magique quand tout fonctionne, mais cela ne fonctionne pas toujours. Et quand ça ne marche pas, l’assistant est souvent plus pénible qu’utile.

Un geek/développeur comme Mark Zuckerberg peut le tolérer, mais sa femme en a fait les frais. Et au sujet de la gêne de l’entourage, il a été surpris d’utiliser plus souvent le texte que la voix. C’est plus discret et la reconnaissance vocale est naturellement moins fiable. Il pense que la voix seule ne peut pas suffire pour ce genre de systèmes et que l’on utilisera toujours le texte à l’avenir… sauf quand on est seul dans une pièce ou que l’on contrôle la musique au milieu de ses amis.

L’ensemble reste impressionnant, surtout quand on pense que c’est un projet mené par un seul homme et qu’il fallu une centaine d’heures de travail seulement. Si le sujet vous intéresse, le patron de Facebook donne quelques explications techniques dans cet article.