Copilot Studio peut utiliser un ordinateur de manière autonome comme le ferait un être humain.
Microsoft a déployé cette semaine une nouvelle fonctionnalité puissante pour Copilot Studio, permettant aux agents d’IA d’utiliser des sites web et des applications de bureau comme s’ils étaient des utilisateurs humains.
L’IA clique, tape et fonctionne comme vous le feriez
La fonctionnalité, intitulée « utilisation d’ordinateur », permet aux agents Copilot de cliquer sur des boutons, de sélectionner des menus et de saisir du texte à l’écran. Selon Charles Lamanna, vice-président de Microsoft, cela permet d’automatiser également les systèmes dépourvus d’API : « Si un humain peut utiliser l’application, l’agent le peut également. »
Grâce à cette fonctionnalité, Copilot Studio peut construire des flux de travail d’IA capables, par exemple, de saisir des données dans des systèmes ERP obsolètes, de traiter des factures ou d’effectuer des études de marché sur des sites web. Il est important de noter que l’IA reconnaît de manière autonome les changements sur les écrans, tels que les boutons déplacés, et s’y adapte, évitant ainsi que l’automatisation ne se bloque.
Plus étendu que Copilot Actions
Précédemment, Microsoft avait introduit une fonctionnalité similaire appelée Copilot Actions. Celle-ci permettait aux utilisateurs de faire exécuter des tâches en arrière-plan, comme la réservation de billets ou les achats en ligne. Ces fonctionnalités étaient limitées à une sélection de partenaires. Copilot Studio bénéficie d’une plus grande liberté pour travailler avec des applications et des sites web arbitraires.