Aujourd'hui, au GTC Taipei et au Computex, NVIDIA Corp. a dévoilé plusieurs-outils et compétences en IA physique open source pour aider les développeurs de robotique, de véhicules autonomes, d'IA visuelle et de jumeaux numériques industriels. L'entreprise a affirmé qu'elle pouvait contribuer à réduire les coûts, le temps et la complexité liés à la création de flux de travail d'IA physique à grande échelle.
Disponible dans le cadre duBoîte à outils d'agent NVIDIA, les nouvelles compétences permettront aux agents d'IA d'accélérer les pipelines de génération de données, de simulation, de formation, d'évaluation et de déploiement derrière les robots, les véhicules autonomes (AV), les usines et les laboratoires, a déclaré l'entreprise.
« Les agents d'IA révolutionnent le développement de logiciels, et ce changement s'applique désormais à l'IA physique, s'étendant aux systèmes qui transformeront les transports, la fabrication, les soins de santé et la robotique », a déclaré Jensen Huang, fondateur et PDG de NVIDIA, au GTC Taipei. "Lorsque les agents pourront utiliser directement les bibliothèques, modèles et frameworks NVIDIA, le développement de l'IA physique progressera plus rapidement, permettant aux développeurs de construire les robots, les véhicules autonomes et les systèmes industriels du futur à un rythme incroyable."
« L'IA physique nécessite d'énormes quantités de données d'entraînement dans divers environnements », a noté Rev Lebaredian, vice-président de la simulation de l'IA physique chez NVIDIA. "Les données de téléopération, de simulation et-à l'échelle d'Internet conduisent à des modèles de base mondiaux pour une diversité infinie de cas d'utilisation."
NVIDIA prépare l'agent de pile d'IA physique-prêt
NVIDIA a déclaré qu'elle optimisait l'ensemble de sa pile d'IA physique pour les agents en transformant les bibliothèques, les modèles et les frameworks en outils appelables par les agents. Cela comprend :
NVIDIA Cosmos3 modèles de base du monde pour le raisonnement et la génération du monde physique
NVIDIA Omniversbibliothèques pour la simulation et les jumeaux numériques
NVIDIA Isaacpour la simulation robotique et l'apprentissage des robots
NVIDIA Métropolepour l'IA de vision
NVIDIA Alpamayopourconduite autonome
NVIDIA Jetsonplateforme pour le développement de l'IA de pointe
"Cosmos 3 est le modèle pionnier de l'IA physique", a déclaré Lebaredian. "Il comprend les vidéos et les textes et peut signaler ce qui compte. Cosmos est une simulation physiquement précise et est capable de prédire ce qui se passera ensuite et de générer des actions."
Pour aider à appliquer ces outils, NVIDIA lancede nouvelles compétencestransformer les processus de développement physique de l’IA en instructions reproductibles que les agents de codage peuvent suivre. Cela inclut les outils à appeler, les résultats à produire et la manière dont les développeurs peuvent valider les résultats.
Les développeurs peuvent également créer et déployer en toute sécurité des agents autonomes en utilisant ces compétences avec leNVIDIA NemoClawle plan et leNVIDIA OpenShellruntime, qui fournit-une sécurité basée sur des règles et une gouvernance de la confidentialité sur le matériel local ou cloud. Les agents fonctionneront à la pointe de la technologie dans Jetson et ont déjà démontré des améliorations en matière de disponibilité, a déclaré Lebaredian.
NVIDIA a déclaré que ses compétences et ses outils en IA physique accélèrent le développement agent dans :
Robotique et IA de pointe :Les développeurs de robots peuvent utiliser leurs compétences pour accélérer l'ensemble du pipeline de développement robotique, depuis la génération de données d'entraînement à la perception et à la mobilité jusqu'à la simulation, l'automatisation de l'entraînement à la navigation, l'avancement de l'apprentissage des robots et le réglage des systèmes Edge basés sur Jetson-pour le déploiement.
Véhicules autonomes :Pour les développeurs audiovisuels, les compétences peuvent demander aux agents de reconstruire les données capturées par les flottes dans des environnements de simulation, de générer des scénarios de conduite photoréalistes à grande échelle et d'exécuter un apprentissage par renforcement en boucle fermée-pour étendre la couverture de formation et d'évaluation.
Agents IA de vision-en temps réel :Pour l'inspection automatisée et l'intelligence vidéo, NVIDIA a déclaré que ses compétences d'agent peuvent aider les équipes à générer des données d'entraînement synthétiques,-affiner les modèles, automatiser l'étiquetage et créer des agents d'IA vidéo qui recherchent, résument et analysent des vidéos en direct ou enregistrées.
IA industrielle :Les développeurs de logiciels industriels peuvent utiliser ces compétences pour convertir des données d'ingénierie en ressources de conception assistée par ordinateur (CAO) pour la simulation de jumeaux numériques, optimisant ainsi les grandes scènes OpenUSD avec moins de configuration manuelle.
Soins de santé :Avant de déployer l'automatisation dans des environnements cliniques, les équipes de soins de santé peuvent guider les agents dans la création de jumeaux numériques d'environnements hospitaliers, la simulation de la-génération de données réelles et le test des politiques de logiciels-dans-la-boucle.
Les compétences peuvent être combinées et intégrées dans des systèmes agentiques plus vastes, selon NVIDIA. Cela permet aux développeurs d'orchestrer et d'automatiser des flux de travail complexes tels que la génération de données, la simulation, l'optimisation, le réglage des inférences, l'évaluation continue, etc.
Les développeurs de robotique adoptent une pile d'IA physique
1X Technologies, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI et Universal Robots font partie des entreprises de robotique qui utilisent déjà la pile d'IA physique prête pour les agents de NVIDIA.
"Grâce aux mises à jour de la pile dans NVIDIA Isaac GR00T, de nouveaux flux de travail-de-bout en bout peuvent être mis en place en quelques heures plutôt qu'en quelques semaines", a déclaré Lebaredian. "'Omni-modal' signifie qu'il fonctionne avec différents modes - vidéo, capteurs, texte et son pour les entrées et sorties d'action."
De plus, Foxconn et Compal utilisent NVIDIA Isaac for Healthcare pour accélérer la robotique hospitalière. Compal fait progresser le processus de développement de son robot PolyMedX vers une plate-forme d'orchestration à l'échelle de l'hôpital-, intégrant la simulation, l'IA et les opérations du monde réel-.
Foxconn étend Nurabot à plusieurs hôpitaux et environnements de soins de longue durée, en apportant la robotique alimentée par l'IA aux soins des patients, et en présentant son nouveau robot collaboratif Scrub Nurse pour aider à optimiser les flux de travail en salle d'opération.
Les leaders du secteur construisent avec les technologies NVIDIA
Les partenaires et clients de NVIDIA dans les domaines de la fabrication, des transports, de la santé et des logiciels industriels utilisent ses bibliothèques d'IA physique pour faire progresser le développement de systèmes autonomes et d'IA industrielle.
À mesure que ces bibliothèques deviennent prêtes pour les agents, les développeurs peuvent utiliser les compétences NVIDIA pour aider les agents à automatiser la configuration, l'exécution et l'itération dans des workflows d'IA physiques complexes.
Dans la fabrication électronique, TSMC et Pegatron affinent-les modèles d'inspection visuelle. Pegatron aurait réduit le temps de formation et de déploiement des modèles de 67 % grâce aux données synthétiques générées par la compétence Defect Image Generation.
Delta Electronics a généré des données synthétiques sur les défauts et a utilisé ses compétences pour détecter les excès de soudure sur les barres omnibus métalliques, améliorant ainsi le taux de détection de 17 %. Inventec a développé son pipeline d'inspection visuelle d'agent d'observation en intégrant la compétence de génération d'images de défauts, réduisant ainsi de 30 % les efforts de collecte de données sur les défauts pour la fabrication de châssis d'ordinateurs portables.
Foxconn, en collaboration avec DeepHow, a utilisé cette compétence pour améliorer l'efficacité de la fabrication en détectant les erreurs plus tôt, augmentant ainsi le rendement du premier passage d'environ 3 %.
Dans le domaine de l'IA industrielle, Cadence, Dassault Systèmes, Siemens et Synopsys utilisent les bibliothèques et les compétences NVIDIA Omniverse pour l'inspection des données d'ingénierie, la simulation et les jumeaux numériques interactifs. PTC, MetAI et Lightwheel exploitent le framework NVIDIA Isaac Sim et les workflows basés sur OpenUSD-pour transformer les données CAO en actifs et environnements prêts pour la simulation-.
Dans le cadre de sa feuille de route « Autonomous Fab 2030 », SK hynix met en œuvre des jumeaux numériques de fabrication de semi-conducteurs à l'aide de NVIDIA Omniverse. Le fabricant de puces collabore également avec NVIDIA et SK Telecom pour valider NVIDIA Agent Toolkit pour l'IA physique spécifique à la fabrication-.
Les développeurs autonomes-Li Auto, Afari et DeepRoute.ai utilisent les modèles NVIDIA Omniverse NuRec pour la reconstruction et le rendu de scènes neuronales. Ils ont généré plus de 1 000 reconstructions et plus de 300 000 rendus et simulations par jour.
En outre, les sociétés audiovisuelles utilisent le nouveau référentiel de compétences des agents pour accélérer et améliorer leur développement de systèmes de conduite autonome plus sûrs et plus performants. Foxconn, VinFast, Uber et HUMAIN ont rejoint l'écosystème NVIDIA DRIVE Hyperion pour développer et déployer des robotaxis SAE niveau 4.
Alpamayo 2 Super a déjà été téléchargé plus de 500 000 fois et a été nommé « Meilleure technologie » au Computex, a déclaré Spencer Huang, directeur des produits pour la robotique chez NVIDIA.
Les outils d'agent d'IA physique sont désormais disponibles
NVIDIA a déclaré que ses outils et compétences d'agent d'IA physique sont disponibles viaGitHubetcompétences.shà utiliser avec n’importe quel agent de codage.
Compétences et outils des agents pour la génération de données synthétiques -Reconstruction neuronale, Augmentation vidéo, Génération d'images de défauts- sont également disponibles sur NVIDIA Brev en tant queLanceurs d'IA physique, des environnements préconfigurés qui regroupent les compétences et les outils des agents pour une génération et une évaluation plus rapides des données synthétiques.
Microsoft,CoreWeave, etNébiusintègrent ces compétences et outils d'agent à leurs services cloud pour permettre aux développeurs de rationaliser et de faire évoluer la génération et le déploiement de données synthétiques.
Unitree humanoïde la référence pour NVIDIA Isaac GR00T
NVIDIA a également annoncé le robot humanoïde de référence NVIDIA Isaac GR00T, une conception de référence de robot humanoïde ouvert construite sur NVIDIA Jetson Thor et la plate-forme de développement NVIDIA Isaac GR00T. La société a déclaré que cela contribuerait à démocratiser l'accès au matériel et aux logiciels avancés sans nécessiter de plates-formes propriétaires coûteuses.humanoïdes à usage général-augmente.
NVIDIA a combiné un corps de robot-de taille réelle avec une manipulation, une détection, un contrôle et un calcul d'IA intégrés :
Châssis humanoïde Unitree H2,mesurant près de 1,8 m de haut et pesant 68 kg (150 lb), avec 31 degrés de liberté pour les tests à l'échelle humaine-.
DoubleVague Sharpamains tactiles à cinq-doigts,permettant une manipulation adroite avec 22 degrés de liberté et amenant le robot à 75 degrés de liberté sur le corps et les mains.
Détection multi--vues,comprenant une caméra stéréo-montée sur la tête avec un large champ de vision (140 degrés horizontaux, 102 degrés verticaux), des caméras de poignet pour la manipulation à courte portée-et une unité de mesure d'inertie pour le suivi de mouvement.
Contrôle-de tout le corps,avec un couple de bras allant jusqu'à 120 Newton-mètres, un couple de jambe allant jusqu'à 360 Newton-mètres, une charge utile nominale du bras de 7 kg (15,4 lb) et une charge utile maximale de 15 kg (33 lb), permettant un levage et une portée plus performants.
Calcul embarqué NVIDIA Jetson AGX Thor T5000,doté d'un GPU NVIDIA Blackwell avec 2 070 téraflops FP4 de performances d'IA, d'un processeur Arm à 14 -cœurs, de 128 Go de mémoire unifiée et d'une plage de puissance configurable de 40 à 130 watts pour le traitement des capteurs en temps réel et l'inférence des robots.
Connectivitévia Ethernet, Wi-Fi 6, Bluetooth 5.2, USB et une gamme de microphones et de haut-parleurs pour l'interaction vocale.
Batterie pour un fonctionnement prolongé,avec une capacité de 15 Ah, 0,972 kWh et environ trois heures de durée de vie.
Sur-arrêt d'urgence à distancefonction permettant de désengager rapidement le robot en toute sécurité.
La plateforme Isaac GR00T comprend :
NVIDIA Isaac Teleoppour capturer des données de démonstration de robots-de haute qualité pour la formation et l'élaboration de politiques.
Modèles de fondation ouverte NVIDIA Isaac GR00Tpour soutenir le raisonnement humanoïde, l’apprentissage et le comportement multitâche.
NVIDIA Isaac Sim etLaboratoire Isaacpour simuler, former, tester et évaluer les politiques des robots avant leur-déploiement dans le monde réel.
Middleware NVIDIA Isaac ROS accélérédéplacer les politiques formées vers des robots.
NVIDIA Jetson Thorpour exécuter-en temps réel, sur-l'inférence et le contrôle du robot.
Le système est conçu pour être modulaire, afin que les équipes de robotique puissent utiliser la plate-forme complète ou intégrer des capacités sélectionnées dans les pipelines de développement existants, les aidant ainsi à faire évoluer le développement humanoïde sans reconstruire la même infrastructure pour chaque robot ou tâche.
Des instituts de recherche de premier plan, dont Ai2, l'ETH Zurich, le Stanford Robotics Center et le Advanced Robotics and Controls Laboratory de l'UC San Diego, prévoient d'utiliser cette conception de référence pour faire progresser la recherche en robotique humanoïde.
"Pour progresser vers des robots-à usage général, les chercheurs ont besoin de plates-formes à la fois performantes et largement accessibles", a déclaré Deepak Pathak, co-fondateur et PDG de Skild AI. "Une conception de référence permet à davantage de chercheurs de participer à la recherche humanoïde de pointe et de passer plus rapidement des idées aux expériences. Cela contribue à faire avancer l'ensemble de l'écosystème de recherche en robotique."