Google DeepMind lance deux nouveaux modèles d'intelligence artificielle conçus pour aider les robots à « effectuer un éventail de tâches concrètes plus large que jamais ». Le premier modèle, baptisé Gemini Robotics, est un modèle vision-langage-action capable de comprendre de nouvelles situations même sans formation préalable.

Gemini Robotics est construit sur Gemini 2.0, la dernière version du modèle d'intelligence artificielle phare de Google. Lors d'une conférence de presse, Carolina Parada, directrice principale et responsable de la robotique chez Google DeepMind, a déclaré que Gemini Robotics « exploite la compréhension du monde multimodal de Gemini et la transpose au monde réel en ajoutant des actions physiques comme nouvelle modalité ».

Le nouveau modèle a réalisé des avancées dans trois domaines clés que Google DeepMind considère comme cruciaux pour créer des robots utiles : généralisation, interactivité et dextéritéOutre sa capacité à généraliser de nouveaux scénarios, Gemini Robotics peut mieux interagir avec les personnes et l'environnement. Il peut également effectuer des tâches physiques plus précises, comme plier une feuille de papier ou décapsuler une bouteille.

Le nouveau modèle Gemini Robotics de Google DeepMind rend les robots plus adroits.

Parada a déclaré : « Par le passé, nous avons progressé dans chacun de ces domaines individuellement, mais aujourd'hui, nous améliorons considérablement les performances dans ces trois domaines avec un modèle unique. Cela nous permet de créer des robots plus performants, plus réactifs et plus résistants aux changements environnementaux. »

Google DeepMind a également introduit Gemini Robotics-ER (Embodied Reasoning), que l'entreprise décrit comme un modèle de langage de vision avancé capable de « comprendre notre monde complexe et en constante évolution ».

Comme l'explique Parada, lorsqu'on prépare une boîte à lunch avec divers aliments sur la table devant soi, il est essentiel de savoir où chaque chose se trouve, comment l'ouvrir, comment récupérer les aliments et où les placer. C'est précisément ce type de raisonnement que Gemini Robotics-ER est conçu pour gérer. Il vise à permettre aux experts en robotique de se connecter aux contrôleurs de bas niveau existants (systèmes qui contrôlent les mouvements des robots) afin d'activer de nouvelles fonctionnalités optimisées par Gemini Robotics-ER.

Gemini Robotics peut également aider les robots à effectuer une gamme de tâches.

Concernant la sécurité, Vikas Sindhwani, chercheur chez Google DeepMind, a déclaré aux journalistes que l'entreprise développait une « approche par couches » et a ajouté que le modèle Gemini Robotics-ER était « formé pour évaluer la sécurité de l'exécution d'actions potentielles dans des scénarios spécifiques ». L'entreprise a également publié de nouveaux référentiels et cadres pour aider le secteur de l'IA à faire progresser la recherche en matière de sécurité. L'année dernière, Google DeepMind a présenté la « Constitution des robots », un ensemble de règles pour les robots inspirées par Isaac Asimov.

Google DeepMind collabore avec Apptronik pour « construire la prochaine génération de robots humanoïdes ». De plus, Google DeepMind accorde aux « testeurs de confiance » l'accès à son modèle Gemini Robotics-ER, incluant Agile Robots, Agility Robotics, Boston Dynamics et Enchanted Tools. Parada a déclaré : « Nous nous concentrons sur le développement d'une intelligence capable de comprendre le monde physique et d'y agir. Nous sommes ravis de pouvoir exploiter cette intelligence dans de multiples applications. »