- \n
- Apprentissage par renforcement<\/li>\n\n\n\n
- D\u00e9lai al\u00e9atoire<\/li>\n\n\n\n
- apprentissage par renforcement profond<\/li>\n\n\n\n
- Apprentissage par renforcement prenant en compte le d\u00e9lai<\/li>\n\n\n\n
- Manipulation robotique<\/li>\n<\/ul>\n\n\n\n
1. Introduction\u200b<\/h2>\n\n\n\n
Le cadre de l’apprentissage par renforcement (RL) repose principalement sur deux entit\u00e9s\u00a0: l’agent et l’environnement. Le processus d’apprentissage du RL implique la communication des actions de l’agent vers l’environnement et des observations de l’environnement vers l’agent. Bien que ce processus de communication soit consid\u00e9r\u00e9 comme instantan\u00e9 dans un contexte id\u00e9al, il peut ne pas l’\u00eatre dans certaines situations, comme la t\u00e9l\u00e9op\u00e9ration. Dans ce cas, un d\u00e9lai peut survenir lors de la communication des actions et des observations entre l’agent et l’environnement. Ce sc\u00e9nario est illustr\u00e9 dans\u00a0la figure\u00a01.<\/a>\u00a0Ce contexte, d\u00e9j\u00e0 \u00e9tudi\u00e9\u00a0[1]<\/a>\u00a0,\u00a0[2]<\/a>\u00a0, concerne le domaine du RL o\u00f9 les actions ne sont pas appliqu\u00e9es instantan\u00e9ment dans l’environnement et o\u00f9 les observations ne sont pas instantan\u00e9ment captur\u00e9es par l’agent. Dans de tels cas, diverses mesures ont \u00e9t\u00e9 mises en \u0153uvre pour compenser le d\u00e9lai de capture des actions et des observations. Parmi celles-ci, on\u00a0retrouve fr\u00e9quemment l’hypoth\u00e8se de d\u00e9lais constants\u00a0[1]<\/a>\u00a0,\u00a0[3]<\/a>\u00a0et la mod\u00e9lisation id\u00e9ale des observations futures dans le but de compenser ce d\u00e9lai\u00a0[4]<\/a>\u00a0,\u00a0[5]<\/a>\u00a0. Cependant, ces types de techniques n’ont pas permis de g\u00e9rer les environnements complexes comportant de grands espaces d’\u00e9tats et d’actions tout en g\u00e9rant ledit d\u00e9lai.En apprentissage par renforcement (RL), les algorithmes hors strat\u00e9gie comme Deep Deterministic Policy Gradient (DDPG)\u00a0[6]<\/a>\u00a0, Twin Delayed DDPG (TD3)\u00a0[7]<\/a>\u00a0et Soft Actor\u2013Critic (SAC)\u00a0[8]<\/a>\u00a0excellent en contr\u00f4le continu, mais rencontrent des difficult\u00e9s d’apprentissage en pr\u00e9sence de d\u00e9lais, car ils supposent des actions et des observations instantan\u00e9es. Dans un environnement retard\u00e9 comme celui illustr\u00e9 \u00e0 la\u00a0figure 1<\/a>\u00a0, il peut \u00eatre avantageux d’exploiter la connaissance de la dynamique retard\u00e9e pour garantir un processus d’apprentissage ad\u00e9quat et un contr\u00f4le ininterrompu de l’environnement non retard\u00e9. Le cadre Delay-Correcting Actor\u2013Critic (DCAC)\u00a0[9]<\/a>\u00a0, d\u00e9velopp\u00e9 par Bouteiller et al., a ouvert la voie \u00e0 ce type d’approche de contr\u00f4le RL sans planification et prenant en compte les d\u00e9lais. Bas\u00e9 sur SAC, DCAC attend des informations sur les caract\u00e9ristiques de l’environnement sous forme de tableau unidimensionnel. Cette utilisation des observations est appel\u00e9e apprentissage bas\u00e9 sur les caract\u00e9ristiques. Cependant, l’ajustement automatique de l’entropie de SAC peut entra\u00eener un effondrement pr\u00e9matur\u00e9 de l’entropie lors de t\u00e2ches complexes telles que la manipulation robotique\u00a0[10]<\/a>\u00a0. Ces environnements renvoient des informations proprioceptives de dimensionnalit\u00e9 sup\u00e9rieure dans l’espace d’\u00e9tat. Nous visons donc \u00e0 \u00e9tendre le cadre DCAC avec une base DDPG, cr\u00e9ant ainsi le premier algorithme de commande prenant en compte le d\u00e9lai dans le domaine d\u00e9terministe.Dans cet article, nous proposons DCAC-v2, un nouvel algorithme d’apprentissage par renforcement (RL) capable de r\u00e9soudre le probl\u00e8me susmentionn\u00e9. Pour g\u00e9rer \u00e0 la fois les comportements complexes et la latence, nous nous appuyons sur le cadre DDPG, ce qui permet \u00e0 notre algorithme d’apprendre une politique d\u00e9terministe. DCAC-v2 reste centr\u00e9 sur le processus de d\u00e9cision markovien \u00e0 d\u00e9lai al\u00e9atoire (RDMDP) formul\u00e9 dans DCAC, qui prend en compte les d\u00e9lais d’action et d’observation, ainsi que l’historique des actions dans l’espace d’\u00e9tats, comme d\u00e9taill\u00e9 dans\u00a0la d\u00e9finition 1.<\/a>\u00a0Les techniques de gestion du d\u00e9lai int\u00e9gr\u00e9es \u00e0 l’algorithme propos\u00e9 sont illustr\u00e9es dans la section\u00a02.<\/a>\u00a0Il est \u00e9galement important de noter que nous utilisons un bruit d’exploration programm\u00e9\u00a0[10]<\/a>\u00a0pour mener une exploration efficace lors de l’entra\u00eenement, en \u00e9liminant l’exploration bas\u00e9e sur l’entropie de SAC. Cette strat\u00e9gie d’exploration garantit que l’agent explore largement l’environnement initialement, puis converge vers un comportement cibl\u00e9, projetant ainsi un comportement d\u00e9terministe.<\/p>\n\n\n
\n![\"\"](\"https:\/\/sahelib.atatec-design.com\/wp-content\/uploads\/2018\/03\/Capture-decran-2025-12-15-a-15.23.37-1.png\")
<\/figure>\n<\/div>\n\n\n2. Contexte\u200b<\/h2>\n\n\n\n
La formulation du RDMDP est bas\u00e9e sur la structure MDP commune o\u00f9 un environnementest mod\u00e9lis\u00e9 avec un espace d’\u00e9tatet un espace d’action, ainsi qu’une distribution d’\u00e9tat initialeet une distribution de transitionNous consid\u00e9rons des environnements o\u00f9 les espaces d’\u00e9tats et d’actions sont continus. Le RDMDP \u00e9tend le MDP standard pour fournir l’environnement augment\u00e9, ainsi que les distributions de d\u00e9lais et un espace d’\u00e9tats augment\u00e9., une distribution d’\u00e9tat initial modifi\u00e9eet une distribution de transition \u00e9tendue.L’espace d’\u00e9tat augment\u00e9consiste en l’observation retard\u00e9e, un ensemble d’actions, et les d\u00e9lais d’observation et d’action, qui sont num\u00e9riques. Le d\u00e9lai d’observation et le d\u00e9lai d’action sont not\u00e9s paret, respectivement. Le tampon d’action est repr\u00e9sent\u00e9 par.Elle contient la valeur de la combinaison maximale possible des d\u00e9lais d’observation et d’action. Il est important d’accorder une attention particuli\u00e8re \u00e0 la distribution de transition au sein d’un RDMDP. Celle-ci contient principalement la distribution des d\u00e9lais d’observation.et la distribution de transition pour le tampon d’actionLa distribution du d\u00e9lai d’observationLe mod\u00e8le d\u00e9crit l’\u00e9volution des d\u00e9lais d’observation et r\u00e9p\u00e8te les observations si aucune nouvelle n’est disponible, ce qui implique que la croissance maximale de ce d\u00e9lai ne peut \u00eatre que de un, d’un pas de temps \u00e0 l’autre. Enfin, la distribution de transition suit la distribution, qui illustre l’\u00e9volution de l’observation elle-m\u00eame, ainsi que la r\u00e9compense et le d\u00e9lai d’action. Cette distribution est encore amplifi\u00e9e dans l’\u00e9quation. <\/p>\n\n\n\n
3. DCAC -v2 : Apprentissage par renforcement d\u00e9terministe prenant en compte le d\u00e9lai<\/h2>\n\n\n\n
Comme mentionn\u00e9 pr\u00e9c\u00e9demment, DCAC utilise SAC comme algorithme de base, lequel apprend une politique int\u00e9grant l’entropie. Afin de traiter des environnements complexes tels que les t\u00e2ches de manipulation robotique, nous nous attachons \u00e0 surmonter les limitations que SAC peut engendrer pour un contr\u00f4le optimal. Bien que SAC maximise l’entropie de la politique, ce qui se traduit par une exploration \u00e9tendue, l’ajustement automatique de l’entropie peut, dans certains cas, provoquer un effondrement pr\u00e9matur\u00e9 de l’entropie, comme l’ont soulign\u00e9 Yarats et al. <\/p>\n\n\n\n
[10]<\/a> . Cette observation nous pr\u00e9occupe, car nous souhaitons \u00e9tendre nos recherches \u00e0 des t\u00e2ches plus complexes, avec des espaces d’\u00e9tats plus vastes dans le domaine robotique, contenant des informations de dimensionnalit\u00e9 sup\u00e9rieure. Ceci requiert un algorithme performant en exploration, capable en outre de g\u00e9rer le d\u00e9lai.Dans un premier temps, nous int\u00e9grons DDPG \u00e0 la structure RDMDP pour former DCAC-v2. Le remplacement de SAC par DDPG vise \u00e0 pallier l’inconv\u00e9nient li\u00e9 \u00e0 l’ajustement de l’entropie, m\u00eame si nos exp\u00e9rimentations reposent sur des observations bas\u00e9es sur les caract\u00e9ristiques. La strat\u00e9gie d’exploration est donc modifi\u00e9e pour favoriser l’apprentissage d’une politique d\u00e9terministe. Pour l’exploration, nous adoptons une strat\u00e9gie similaire \u00e0 celle d’Amos et al. <\/p>\n\n\n\n
[12],<\/a> o\u00f9 l’exploration est planifi\u00e9e en fonction des diff\u00e9rentes phases d’apprentissage. Ce calendrier d’exploration induit un comportement plus stochastique en d\u00e9but d’entra\u00eenement, permettant une exploration plus rigoureuse de l’environnement. Par la suite, la politique devient plus d\u00e9terministe afin de ma\u00eetriser un comportement jug\u00e9 plus fiable. Le calendrier d’exploration est con\u00e7u pour d\u00e9cro\u00eetre lin\u00e9airement la variance.comme:<\/p>\n\n\n
\n![\"\"](\"https:\/\/sahelib.atatec-design.com\/wp-content\/uploads\/2018\/03\/Capture-decran-2025-12-15-a-15.24.32-1.png\")
<\/figure>\n<\/div>\n\n\n4. Exp\u00e9riences\u200b<\/h2>\n\n\n\n
Nous menons nos exp\u00e9rimentations \u00e0 l’aide d’environnements de contr\u00f4le continu de la suite DeepMind Control\u00a0[14]<\/a>\u00a0. Il est \u00e0 noter que, dans l’\u00e9tude originale, l’algorithme DCAC a \u00e9t\u00e9 test\u00e9 avec des environnements OpenAI Gym\u00a0[15]<\/a>\u00a0. Afin de pr\u00e9server la gestion des observations au sein de la structure algorithmique, nous int\u00e9grons une interface permettant de convertir les structures d’environnement de la suite DeepMind Control en celles des environnements OpenAI Gym. Nous utilisons pour cela l’interface dmc2gym\u00a0[16]<\/a>\u00a0, o\u00f9 la dynamique de l’environnement reste inchang\u00e9e tandis que l’interface d’interaction environnement-algorithme est similaire au fonctionnement des environnements OpenAI Gym.Nous comparons principalement les performances de l’algorithme DCAC-v2 \u00e0 celles des algorithmes DCAC et SAC originaux dans le cadre du RDMDP. La principale diff\u00e9rence entre DCAC et SAC r\u00e9side dans le fait que le critique de SAC estime la valeur de l’action., tandis que DCAC fonctionne avec la valeur d’\u00e9tatL’estimation\u00a0[9]<\/a>\u00a0indique que DCAC et SAC sont tous deux soumis aux contraintes de la structure RDMDP. Par cons\u00e9quent, les r\u00e9sultats serviront directement de r\u00e9f\u00e9rence pour le contr\u00f4le RL d\u00e9terministe dans le domaine retard\u00e9 (bas\u00e9 sur RDMDP). L’exp\u00e9rimentation se d\u00e9roule en deux phases\u00a0: premi\u00e8rement, nous entra\u00eenons les algorithmes avec un ensemble de t\u00e2ches de contr\u00f4le courantes, utilis\u00e9es pour illustrer les performances de DCAC dans l’\u00e9tude originale. Nous s\u00e9lectionnons avec soin un sous-ensemble des m\u00eames environnements au sein de la suite DeepMind Control Suite (initialement utilis\u00e9e via OpenAI Gym) afin de garantir l’\u00e9quit\u00e9 de l’exp\u00e9rimentation. Nous ex\u00e9cutons quatre t\u00e2ches de contr\u00f4le courantes, chaque exp\u00e9rience comportant 500 it\u00e9rations de 2\u00a0000 \u00e9tapes chacune (soit un total d’un million d’\u00e9tapes). Ces quatre tests sont men\u00e9s avec des caract\u00e9ristiques de d\u00e9lai similaires pour les algorithmes SAC, DCAC et DCAC-v2\u00a0: des d\u00e9lais d’observation et d’action de deux \u00e9tapes, al\u00e9atoires.La deuxi\u00e8me phase consiste en la t\u00e2che de manipulation robotique de base propos\u00e9e par la suite logicielle DeepMind Control Suite, con\u00e7ue autour du Kinovo.Manipulateur robotique \u00e0 6 degr\u00e9s de libert\u00e9. Cette t\u00e2che, appel\u00e9e \u00ab\u00a0Atteindre une cible\u00a0\u00bb, consiste pour le manipulateur robotique \u00e0 diriger son effecteur terminal vers une zone cible sph\u00e9rique dans son espace de travail. Compar\u00e9e aux t\u00e2ches de contr\u00f4le classiques, cette t\u00e2che pr\u00e9sente un espace d’\u00e9tats de dimensionnalit\u00e9 plus \u00e9lev\u00e9e. Quantitativement, cet espace d’\u00e9tats comporte 45 \u00e9l\u00e9ments, contre 4 pour une t\u00e2che de contr\u00f4le courante comme \u00ab\u00a0Reacher Easy\u00a0\u00bb\u00a0<\/p>\n\n\n\n
[14]<\/a>\u00a0. Par cons\u00e9quent, nous effectuons l’entra\u00eenement de l’environnement robotique sur 600 it\u00e9rations, chacune comprenant 5\u00a0000 \u00e9tapes, soit un total de 3\u00a0000\u00a0000 \u00e9tapes. Nous r\u00e9alisons deux tests dans cette phase\u00a0: premi\u00e8rement, nous laissons les algorithmes \u00e9voluer dans l’environnement avec des d\u00e9lais constants (,), puis nous introduisons des conditions de d\u00e9lai extr\u00eames pour tester la robustesse de DCAC-v2. Pour ce test de robustesse, nous \u00e9tendons le d\u00e9lai d’action \u00e0 un d\u00e9lai al\u00e9atoire de 2 \u00e9tapes., tout en augmentant le d\u00e9lai d’observation \u00e0 partir d’un d\u00e9lai al\u00e9atoire de 3 \u00e9tapesPassons maintenant \u00e0 l’\u00e9tape en 5 \u00e9tapes.et enfin les 9 \u00e9tapesDans le cas final d’un d\u00e9lai d’observation al\u00e9atoire de 9 \u00e9tapes, l’algorithme g\u00e9rera des d\u00e9lais allant jusqu’\u00e0 320 ms lors du traitement des observations. Le taux de r\u00e9ussite de toutes les t\u00e2ches, y compris les t\u00e2ches de contr\u00f4le communes, est mesur\u00e9 et compar\u00e9 au rendement moyen total sur l’ensemble des it\u00e9rations. Les caract\u00e9ristiques exp\u00e9rimentales sont r\u00e9sum\u00e9es dans\u00a0le tableau 1<\/a>\u00a0.<\/p>\n\n\n\n
Tableau 1. Exp\u00e9riences r\u00e9alis\u00e9es sur les caract\u00e9ristiques de d\u00e9lai.<\/p>\n\n\n\n