Figure AI a annoncé être en train de construire le plus vaste des jeux de données d’entraînement pour robots humanoïdes. Ce « Project Go-Big » réunit des vidéos du quotidien filmées à la première personne.
L’entreprise américaine Figure AI vient d’annoncer la création d’une base de données inédite pour entraîner Helix, l’intelligence artificielle de ses robots humanoïdes. Réalisé en partenariat avec la firme Brookfield, le dénommé « Project Go-Big » rassemble des vidéos filmées à la première personne, en situation réelle dans des intérieurs. Alors que les premières images auraient déjà porté leurs fruits, Figure AI dit vouloir constituer, à terme, la plus grosse base de données d’entraînement pour robots humanoïdes.
Des vidéos immersives pour entraîner des humanoïdes
La démarche est étonnante mais ingénieuse. Partie du constat que la robotique humanoïde ne disposait pas de données d’entraînement à l’échelle d’Internet, comme les LLM tels que ChatGPT, Figure AI a décidé d’y remédier. L’entreprise, qui développe les modèles Figure 02, est en train de construire ce qu’elle pense être, pour les humanoïdes, « le plus vaste et le plus diversifié des jeux de données d’entraînement » au monde.
Baptisé « Project Go-Big », cet ensemble de données consiste uniquement en des vidéos captées du point de vue humain, en situation réelle, dans des espaces intérieurs. Les premières images dévoilées par Figure AI montrent le champ de vision de personnes humaines, en train de plier leur linge, remplir leur lave-vaisselle, ou encore ranger les jouets de leurs enfants.
Selon un communiqué de Figure AI, « les plus grandes percées en apprentissage automatique sont venues de l’entraînement massif de réseaux neuronaux sur des jeux de données vastes et diversifiés« . L’entreprise cite ImageNet pour la vision, Wikipedia pour le langage et YouTube pour la génération de vidéos, pour lesquels il n’existerait pas d’équivalent dans le domaine des « comportements robotiques ». Son Project Go-Big, qui devrait s’intensifier dans les mois à venir, vise à combler ce manque.
Figure AI annonce déjà des premiers succès avec ses robots
La nouvelle base de données permettra d’entraîner Helix, le modèle VLA (pour « Vision-Langage-Action ») de Figure AI. Il s’agit de l’intelligence artificielle destinée notamment à rendre ses robots humanoïdes autonomes.
La société explique dans son communiqué que l’apprentissage des robots traditionnels exigeait autrefois « des démonstrations coûteuses, des programmes codés à la main, ou des environnements artificiellement simplifiés« . Désormais, l’atout structurel des humanoïdes, qui réside dans leur imitation de la morphologie et de la perspective humaines, permet un autre type d’enseignement : le « transfert direct humain-robot ».
Grâce aux vidéos, les humanoïdes, alimentés par Helix, peuvent apprendre les stratégies de déplacement et les savoir-faire humains et les appliquer en situation et en temps réels. Le tout, sans avoir besoin de démonstrations robotiques ; ce qui est nouveau dans le domaine. Réalisées en grand nombre, ces images permettent de confronter les machines à la réalité du terrain et à la grande diversité de situations du quotidien.
Figure AI annonce d’ores et déjà ses premiers succès avec ce système :
- Helix réagit déjà à des commandes comme « va au frigo » ou « va arroser les plantes », en générant des déplacements dans des environnements domestiques complexes (encombrement, etc.).
- Un modèle unifié, avec un seul réseau Helix produisant à la fois des commandes de manipulation et de navigation.
- L’apprentissage uniquement à partir de vidéos, des images et du langage jusqu’à la génération du mouvement. Ce qui est, selon Figure AI, inédit pour un humanoïde.
Brookfield : 100 000 logements pour nourrir l’IA de Figure AI ?
Les vidéos sont collectées grâce à un partenariat avec la firme d’investissement Brookfield Asset Management. Cette société canadienne dispose, selon les chiffres communiqués par Figure AI, d’un portefeuille mondial d’un trillion de dollars, avec plus de 100 000 logements, 46 millions de m2 de bureaux et près de 15 millions de m2 d’espaces logistiques.
Grâce à ses biens, Brookfield permettra « d’accélérer Project Go-Big en capturant des comportements humains orientés vers des objectifs, à une échelle et une diversité inédites« , détaille le communiqué.
Les premières collectes de données dans des environnements Brookfield ont déjà commencé, et le programme va être étendu dans les mois à venir. Aucun objectif daté de commercialisation n’a toutefois été communiqué pour les robots comme Figure 02.
Jusqu’ici, Helix avait essentiellement été entraîné sur des tâches de manipulation du haut du corps, comme plier du linge ou remplir un lave-vaisselle. Mais comme le souligne Figure AI, pour pouvoir nous assister à la maison, les humanoïdes devront aussi naviguer intelligemment. Par exemple, entre les humains et les objets, dans des environnements encombrés. Avec Project Go-Big, l’entreprise américaine entend donc implémenter directement des stratégies de déplacements humaines à ses robots, avec une base de données d’une échelle inédite. Un chantier colossal, mais qui commence à porter ses fruits.
Et vous, que pensez-vous de cette méthode inédite ? Fera-t-elle la différence par rapport aux apprentissages classiques ?
Certains liens de cet article peuvent être affiliés.
Cet article met en lumière une approche fascinante. En utilisant des vidéos de la vie quotidienne, Figure AI pourrait vraiment révolutionner l’apprentissage des robots humanoïdes. J’ai hâte de voir les résultats!
Cette méthode semble révolutionnaire pour l’apprentissage des robots. En utilisant des vidéos du quotidien, on pourrait vraiment rapprocher l’IA de notre façon de vivre et d’interagir. C’est prometteur!
C’est fascinant de voir comment Figure AI crée un nouveau standard pour l’apprentissage des robots. J’ai hâte de découvrir les applications concrètes de ces avancées dans notre quotidien !