Google DeepMind a présenté le 30 juillet Gemini Robotics 2, un nouveau modèle d’IA concçu pour rendre les robots plus polyvalents. Le système combine contrôle de l’ensemble du corps, manipulation fine, raisonnement sur plusieurs étapes et collaboration entre machines, avec l’ambition de rapprocher les robots d’une véritable intelligence physique.
Gemini Robotics 2 contrôle désormais le corps entier des humanoïdes
Gemini Robotics 2 est un modèle vision-langage-action (VLA) : il transforme des informations visuelles et des instructions en commandes permettant au robot d’agir. Alors que les précédentes versions démontraient déjà des capacités de manipulation fine, basées sur le haut du corps et les tâches sur table, à l’instar de Gemini Robotics 1.5 dont nous avions déjà parlé, cette nouvelle mouture étend le contrôle de l’humanoïde à l’ensemble de son corps, de ses pieds jusqu’à ses doigts.
Le robot peut ainsi marcher, se pencher, maintenir son équilibre, saisir un objet puis se déplacer pour le déposer ailleurs. Avec l’humanoïde Apollo 2 d’Apptronik, Google DeepMind affirme par exemple que l’utilisateur peut envoyer au robot l’instruction de placer « un arrosoir » dans un bac situé sur une étagère basse. Il rejoindrait alors la table où l’objet est posé pour le récupérer, puis marcherait jusqu’au meuble et le déposerait précisément à l’emplacement demandé.
Cette polyvalence s’étend également aux manipulations fines. Gemini Robotics 2 pourrait désormais piloter la main SharpaWave à cinq doigts utilisée sur Apollo 2, qui dispose de 22 degrés de liberté. Comme nous le montre la vidéo ci-dessous, le robot peut notamment dévisser une ampoule, fermer un sac plastique Ziploc ou faire un nœud. Avec des pinces parallèles à deux doigts, le modèle réalise aussi des opérations de manipulation précises sur Franka Duo, une plateforme robotique à double bras.
Les résultats restent toutefois très variables selon les tâches. Google mesure par exemple 92 % de réussite pour le dévissage d’une ampoule avec la main SharpaWave, contre 36 % pour l’opération inverse. Sur les tâches utilisant des pinces, les performances atteignent 79 % pour la mise en kit d’outils et 89,6 % pour des opérations d’insertion précise. La manipulation multi-doigts demeure en revanche un défi, et Google reconnaît également que la vitesse de déplacement des robots doit encore progresser.
Gemini Robotics ER 2 : l’ajout d’une couche de raisonnement et de planification
Gemini Robotics 2 ne constitue pas à lui seul toute l’architecture. Comme pour les versions précédentes, le VLA est accompagné de Gemini Robotics ER 2, un modèle de raisonnement incarné (« embodied reasoning ») chargé de comprendre les instructions, d’observer l’environnement et de planifier les différentes étapes d’une tâche.
Cette couche de raisonnement peut superviser une tâche d’une durée de plusieurs minutes donnée à un robot, et impliquant des centaines de décisions. Elle surveille également la progression en continu, identifie les événements importants et peut permettre au robot de corriger son comportement lorsqu’une étape échoue, plutôt que de recommencer toute la procédure.
Google introduit par ailleurs la « collaboration multi-robots ». Des machines de types différents peuvent ainsi communiquer et se répartir certaines opérations afin d’accomplir des tâches qu’un seul robot ne pourrait pas forcément réaliser tout seul.
Gemini Robotics ER 2 améliore également la compréhension temporelle des tâches. Google indique notamment une précision de 91,3 % pour identifier le moment exact où survient un événement important dans une séquence vidéo filmée par le robot, avec une distance moyenne de 0,96 seconde par rapport au moment recherché.
Gemini Robotics On-Device 2 : une IA adaptable et exécutable localement
Le troisième composant, Gemini Robotics On-Device 2, vise les robots qui doivent fonctionner sans dépendre en permanence d’une connexion à Internet. Optimisé pour fonctionner directement sur le matériel, il peut s’adapter à de nouvelles architectures de robots en quelques heures, en nécessitant généralement moins de 200 démonstrations.
Cette capacité serait particulièrement importante dans un secteur où les machines peuvent avoir des morphologies, des capteurs et des degrés de liberté très différents. Google affirme avoir testé cette adaptation sur plusieurs plateformes à deux bras.
La sécurité aurait également été améliorée. Google DeepMind présente notamment ASIMOV-Agentic, un nouveau benchmark destiné à évaluer la capacité d’un système robotique à refuser des actions dangereuses, à déterminer si une tâche est réalisable et à solliciter l’intervention humaine en cas d’incertitude. Gemini Robotics ER 2 améliore aussi la détection des personnes à proximité et peut déclencher un arrêt lorsque quelqu’un s’approche trop près.
Des mesures bienvenues, des chercheurs en cybersécurité ayant déjà tiré la sonnette d’alarme à propos des possibilités de piratage des robots humanoïdes. Ou encore, compte tenu des blessures graves que peut occasionner un humanoïde, notamment en cas de défaillance technique.
Gemini Robotics 2 reste donc avant tout une avancée de recherche et de développement, plutôt qu’un produit commercialisable. Google indique toutefois que Gemini Robotics ER 2 est accessible aux développeurs via Gemini API et Google AI Studio. Quant aux modèles VLA et On-Device, ils sont pour l’instant réservés aux partenaires en accès anticipé.
Avec cette nouvelle génération, Google DeepMind cherche ainsi à rendre les robots moins dépendants à des séquences prédéfinies ou à du téléguidage, en les rendant plus polyvalents. C’est-à-dire, en leur permettant de percevoir, de raisonner, de se déplacer et de manipuler leur environnement. Car si des entreprises comme Figure AI présentent des humanoïdes capables de réaliser des tâches domestiques, pouvoir évoluer dans des environnements complexes et encombrés en toute autonomie nécessitera encore de nombreuses améliorations des modèles d’IA.
Certains liens de cet article peuvent être affiliés.
