Depuis début mars 2025, Claude, l’intelligence artificielle d’Anthropic, joue en direct à Pokémon Rouge sur Twitch. Mais loin d’un simple bot automatisé, Claude est capable d’analyser l’écran du jeu, comprendre ce qui se passe, et prendre des décisions stratégiques en temps réel, comme un joueur humain.
Une IA qui voit, pense et joue
Claude ne dispose pas d’un accès direct au code du jeu. Il reçoit simplement des captures d’écran toutes les 5 secondes, les transforme en descriptions textuelles, puis génère des actions qu’un logiciel convertit en commandes. Il commente aussi ses choix à voix haute, ce qui rend l’expérience très immersive.
Des réussites… et des galères très humaines
L’IA impressionne par sa capacité à comprendre les types de Pokémon, à gérer son inventaire ou à planifier des actions. Mais elle n’est pas infaillible : elle s’est déjà perdue plus de 16 heures dans le Mont Sélénite, ou a tenté d’utiliser des Poké Balls alors qu’elle n’en avait plus. Des erreurs qui la rendent presque attachante.
Pourquoi c’est important
Ce projet, baptisé Claude Plays Pokémon, sert avant tout à tester les capacités multimodales de l’IA (vision + langage + action) dans un environnement visuel complexe et dynamique. Il montre comment une IA peut apprendre à naviguer un monde qu’elle ne connaît pas, simplement en l’observant.
Regarder le stream : twitch.tv/claudeplayspokemon
Détails techniques : Latent Space
