Cette ressource présente l’apprentissage par renforcement de la conduite sur circuit d’une voiture autonome 1/10 , en simulation, puis le transfert du réseau de neurones du simulateur dans la voiture réelle, en utilisant Webots, gymnasium et Stable-Baselines3. Elle est issue du travail de Kévin Hoarau lors de sa participation à la Course de Voitures Autonomes de Paris Saclay, CoVAPSy 2023 [6], repris et validé par plusieurs équipes en 2024. Le simulateur utilisé, Webots, peu gourmand en ressource et open source, permet à chacun d’expérimenter l’apprentissage par renforcement profond sur cet exemple réaliste, même sans disposer de voiture pour le passage à la réalité. La voiture 1/10ème instrumentée d’un coût modeste (moins de 1000 euros) permet à travers cet exercice d’appréhender le transfert simulation → réalité et les difficultés associées pour une mise en œuvre concrète et matérielle de l’intelligence artificielle. La voiture et le simulateur sont présentés en détails dans les ressources « Course Voitures Autonomes Paris Saclay (CoVAPSy) : Travaux pratiques autour des voitures autonomes » [7], « CoVaPSy : Premiers programmes python sur la voiture réelle » [8] et « CoVaPSy : Mise en œuvre du Simulateur Webots » [9] du numéro 111 de la revue 3EI. La ressource « Apprentissage par renforcement de la conduite d’un véhicule sur AirSim » de Ludovic de Mattteis et Saša Radosalvjevic [3] a servi de point de départ à ce travail. Webots [11] a été préféré à AirSim pour sa légèreté et sa facilité de mise en œuvre et l’expérience acquise précédemment a permis d’aller jusqu’au transfert de la simulation à la réalité.