Comment les robots pilotés par le code peuvent-ils mieux interagir avec les humains ? Récemment, le laboratoire de robotique humain-robot de l'Université Brown a testé un nouveau système basé sur l'IA qui vise à permettre aux robots de comprendre les commandes humaines dans le langage courant et d'effectuer des tâches avec précision.
Le point clé de cette recherche est qu’ils ont développé un nouveau système qui permet aux robots d’effectuer des tâches complexes sans avoir besoin de milliers d’heures de formation sur les données. Alors que la formation machine traditionnelle nécessite un grand nombre d'exemples pour montrer au robot comment comprendre et exécuter des instructions à différents endroits, ce nouveau système permet au robot d'opérer dans différents environnements en fournissant une carte détaillée de la zone.
Les chercheurs décrivent le rôle du grand modèle de langage intégré dans leur système pour permettre aux robots de comprendre et d'exécuter des tâches en décomposant les instructions sans grandes quantités de données d'entraînement. Le système est non seulement capable d'accepter des instructions en langage naturel, mais il est également capable de calculer les sauts logiques dont le robot pourrait avoir besoin en fonction du contexte de l'environnement, ce qui rend les instructions beaucoup plus simples et plus claires, y compris ce que le robot peut faire, ce que le robot peut faire. cela ne peut pas le faire, et dans quel ordre.
Stefanie Tellex, l'une des principales chercheuses du projet et professeur d'informatique à l'Université Brown, a déclaré : « Lors de la sélection de nos sujets, nous avons spécifiquement considéré un robot mobile se déplaçant dans l'environnement, et nous voulions trouver un moyen par lequel le Le robot pouvait comprendre les instructions complexes et verbales que l'humain lui donnait, comme marcher dans Thayer Street à Providence pour me rejoindre au café, mais éviter CVS et s'arrêter d'abord à la banque, et suivre exactement les instructions.
Si la recherche donne des résultats, elle sera appliquée à l'avenir à de nombreux robots mobiles dans la ville, notamment aux drones, aux voitures autonomes, aux véhicules de transport sans pilote, etc., il suffit d'utiliser le moyen habituel de communication avec les gens pour interagir avec le robot, il peut comprendre avec précision vos instructions, ce qui rend possible l'application de robots mobiles dans des environnements complexes.
Pour tester le système, les chercheurs ont effectué des simulations à l'aide d'OpenStreetMap dans 21 villes et ont montré que le système effectuait la tâche avec précision 80 % du temps, un taux de précision beaucoup plus élevé que d'autres systèmes similaires, qui n'atteignent généralement qu'une précision d'environ 20 % et ne peuvent pas gérer instructions et tâches complexes.
Dans le même temps, l'équipe a également mené des tests en intérieur sur le campus de l'Université Brown avec le robot spot de Boston Dynamics, considéré comme l'un des principaux robots quadrupèdes polyvalents au monde, et le succès de la vérification sur place facilitera l'applicabilité de le système aux robots d'autres fabricants.
Jason Xinyu, doctorant en informatique et membre principal de l'équipe de recherche, explique le fonctionnement du système à l'aide d'un exemple.
Supposons que l'utilisateur dise au drone d'aller au « magasin » sur « Main Street » mais d'aller d'abord à la « banque ». Une fois l'instruction saisie, le logiciel identifie d'abord les deux emplacements, puis le modèle de langage commence à faire correspondre ces emplacements abstraits avec l'emplacement concret du robot. En même temps, il analyse également les métadonnées de localisation, telles que l'adresse ou le type d'emplacement, pour aider le système à prendre des décisions. Dans ce cas, il y a plusieurs magasins à proximité, mais un seul se trouve sur la rue principale, le système sait donc où aller; Le modèle de langage traduit ensuite les commandes en logique temporelle linéaire, qui est un code mathématique et une notation pour exprimer les commandes ; Enfin, le système intègre l'emplacement actuellement cartographié dans cette formule, indiquant au robot d'aller au point A, mais après le point B.
Une simulation basée sur OpenStreetMaps sera mise en ligne en novembre, permettant aux utilisateurs de tester le système par eux-mêmes. Les utilisateurs peuvent saisir des commandes en langage naturel sur une page Web pour guider un drone simulé dans une tâche de navigation afin d'aider les chercheurs à affiner le logiciel.
Cela signifie qu'un projet de « robot IA+ » co-entraîné par le public nous parvient.