Cette ressource présente l’apprentissage par renforcement de la conduite sur circuit d’une voiture autonome 1/10 , en simulation, puis le transfert du réseau de neurones du simulateur dans la voiture réelle, en utilisant Webots, gymnasium et Stable-Baselines3. Elle est issue du travail de Kévin Hoarau lors de sa participation à la Course de Voitures Autonomes de Paris Saclay, CoVAPSy 2023 [6], repris et validé par plusieurs équipes en 2024.

Le simulateur utilisé, Webots, peu gourmand en ressource et open source, permet à chacun d’expérimenter l’apprentissage par renforcement profond sur cet exemple réaliste, même sans disposer de voiture pour le passage à la réalité.

La voiture 1/10ème instrumentée d’un coût modeste (moins de 1000 euros) permet à travers cet exercice d’appréhender le transfert simulation → réalité et les difficultés associées pour une mise en œuvre concrète et matérielle de l’intelligence artificielle. La voiture et le simulateur sont présentés en détails dans les ressources « Course Voitures Autonomes Paris Saclay (CoVAPSy) : Travaux pratiques autour des voitures autonomes » [7], « CoVaPSy : Premiers programmes python sur la voiture réelle » [8] et « CoVaPSy : Mise en œuvre du Simulateur Webots » [9] du numéro 111 de la revue 3EI.
La ressource « Apprentissage par renforcement de la conduite d’un véhicule sur AirSim » de Ludovic de Mattteis et Saša Radosalvjevic [3] a servi de point de départ à ce travail. Webots [11] a été préféré à AirSim pour sa légèreté et sa facilité de mise en œuvre et l’expérience acquise précédemment a permis d’aller jusqu’au transfert de la simulation à la réalité.

Bien que largement répandus, les chargeurs de batterie lithium restent difficiles à caractériser et leur qualité sujette à questions. En effet, les caractéristiques des cellules des accumulateurs présentent des disparités relativement importantes fonction de leurs vieillissements et des chimies employées et changent en fonction de l’état de charge et de la température. A cause de ces disparités, l’équilibrage est nécessaire et doit se faire en toute sécurité et à faible coût. Il est alors nécessaire de maitriser cet équilibrage quelle que soit la résistance interne des éléments, l’intensité du courant de charge, la tension d’alimentation du chargeur, la température de fonctionnement. Dans cet article, nous proposons une étude basée sur des simulations qui permet de se faire une idée claire des performances des chargeurs et des améliorations que l’on peut en attendre.

Vous avez été nombreux à consulter le numéro 111 de la revue 3EI sur les sites de Culture Sciences de l’Ingénieur et de la SEE, saluant ainsi sa nouvelle version numérique. Le comité de rédaction se réjouit de ce succès et souhaite que cette dynamique s’amplifie avec l’aide du plus grand nombre. N’hésitez-pas à proposer vos contributions et à diffuser la revue 3EI au public le plus large, par exemple, sur/avec la liste de diffusion renater :
https://groupes.renater.fr/sympa/info/revue3ei
Dans ce second numéro de l’année 2024, nous vous proposons d’approfondir les thèmes de la « cybersécurité des systèmes industriels » et des « innovations en électronique de puissance ».