Points Clés :
- Raisonnement visuel : Les modèles o3 et o4-mini sont désormais capables d’analyser et de manipuler des images (comme le zoom, la rotation, et le recadrage) pour en extraire des informations cruciales.
- Applications : Leur polyvalence est démontrée dans divers domaines, de la résolution de problèmes mathématiques à la détermination de localisation par photos.
- Accessibilité : Ces fonctionnalités sont disponibles pour les utilisateurs des abonnements ChatGPT Plus, Pro et Team.
- Risques : Bien que pratique, cette nouvelle fonctionnalité comporte des risques potentiels d’abus.
Une IA qui voit et comprend
Historiquement, l’IA traitait séparément le texte et les images. Avec les modèles o3 et o4-mini, OpenAI propose une approche multimodale où les images sont minutieusement analysées pour extraire des informations contextuelles. Par exemple, une photo d’un problème mathématique manuscrit, même floue, peut être interprétée, corrigée et résolue par le modèle.
Cette avancée repose sur des techniques avancées de traitement d’image qui permettent aux modèles de recadrer, zoomer ou faire pivoter les images pour en améliorer la lisibilité, rendant ainsi exploitables même des documents mal scannés.
Des applications variées et innovantes
L’intégration du raisonnement visuel dans les modèles d’OpenAI ouvre de larges possibilités :
- Éducation : Les étudiants peuvent soumettre des photos de leurs devoirs ou notes manuscrites pour obtenir des explications détaillées.
- Développement logiciel : Les développeurs peuvent partager des captures d’écran d’erreurs pour recevoir une analyse et des suggestions de correction.
- Accessibilité : Les personnes malvoyantes pourraient utiliser ces modèles pour comprendre des informations visuelles complexes.
Tendance de la recherche inversée de localisation
Une utilisation populaire et émergente de ces modèles est la recherche inversée de localisation à partir de photos, même de qualité médiocre. Les utilisateurs peuvent soumettre des images de lieux, et le modèle tente d’identifier l’endroit exact en se basant sur des indices visuels comme l’architecture et la signalisation.
Bien que fascinante, cette fonctionnalité soulève des préoccupations en matière de confidentialité, notamment concernant la possibilité de localiser des individus via des photos partagées. Cela peut faciliter des pratiques illégales comme le doxxing, qui consiste à divulguer des données personnelles pour nuire à autrui.
Vers une intelligence artificielle plus autonome
Les modèles o3 et o4-mini ne se limitent pas à l’analyse des images. Ils combinent cette capacité avec d’autres outils de ChatGPT, tels que la navigation web, le codage en Python ou la génération d’images. Cette intégration permet une approche plus complète et autonome de la résolution de problèmes complexes.
OpenAI prévoit d’élargir encore ces capacités, avec le lancement prévu de GPT-5, visant une IA plus performante et accessible.
L’article « OpenAI révolutionne l’IA : ses nouveaux modèles peuvent « penser » avec des images » a été publié sur le site Abondance.
À découvrir également : Optimisation pour l’INP : la nouvelle métrique Core Web Vitals
À lire en complément : OpenAI va afficher du contenu et des liens en réponse aux requêtes
