ChatGPT peut désormais comprendre les messages vocaux et visuels. Il est ainsi possible de discuter avec le chatbot sans avoir à taper un seul mot.
OpenAI étend les possibilités pour utiliser ChatGPT. Outre les invites écrites, on peut désormais aussi montrer des images ou dire du texte au chatbot, qui répondra par un texte écrit ou parlé, ou les deux. L’option vocale fonctionne exactement de la même manière qu’avec Google Assistant, Siri, Alexa ou tout autre assistant virtuel : posez une question et ChatGPT répondra à haute voix.
Selon OpenAI, ChatGPT fournira de meilleures réponses que ses homologues virtuels. Pour convertir les messages vocaux en invites textuelles, l’entreprise dispose déjà du LLM Whisperer. OpenAI introduit maintenant un nouveau modèle pour passer du texte à la parole, permettant à ChatGPT de répondre. Cette voix ne ressemblera pas à celle d’un robot, mais à celle d’un être humain, promet l’entreprise.
Des images parlent
Pas d’inspiration pour les invites à l’écrit ? ChatGPT pourra aussi déterminer votre question exacte à partir d’une photo téléchargée. Là encore, cela fonctionne comme Google Lens, qui peut également vous montrer une photo pour obtenir plus d’informations sur ce qu’elle contient. Pour guider le chatbot dans la bonne direction, il est possible de sélectionner des éléments de l’image. Pour l’inverse, du texte à l’image, OpenAI a déjà dévoilé une nouvelle version de Dall-E qu’elle veut d’ajouter à ChatGPT.
OpenAI sait très bien que les messages vocaux et visuels incitent à de nouvelles formes d’abus de l’IA, écrit l’entreprise dans un blog. Le modèle utilisé pour créer les voix restera à l’intérieur afin d’éviter qu’il n’imite les voix de personnes célèbres ou qu’il ne permette à des criminels d’effectuer des fraudes vocales. Quant aux photos incluant des personnes, les fonctions d’image ne seront pas utilisables.
Ce sont les utilisateurs payants de ChatGPT qui profiteront le plus rapidement de ces nouvelles fonctionnalités. Comptez deux semaines. Après, c’est au tour des autres utilisateurs et des développeurs.