Apprentissage d'environnement : approches cognitives et comportementales

摘要

Nos travaux se concentrent sur l'apprentissage d'environnement qui est un moyen de rendre les systemes autonomes plus adaptatifs. Dans un premier temps, nous avons employe une approche cognitive qui a debouche sur une nouvelle methode pour la construction et la mise a jour d'un modele geometrique du monde. Partant de deux modeles assez frustres du monde, notre algorithme introduit une methodologie de fusion composee d'une suite d'operations simples. Notre methode aboutit a un modele du monde comparable, en precision et en robustesse, aux modeles classiquement construits par un fitrage numerique de Kalman. Notre approche est cependant plus flexible - il suffit par exemple d'utiliser des modeles de base differents - ce qui permet de concevoir des systemes plus autonomes. Neanmoins, seul un traitement de plus en plus complexe et specifique des informations manipulees par notre modele peut encore augmenter son utilite et son adaptabilite, ce qui, finalement, nuit au caractere autonome d'un robot. Nous pensons que cette critique se generalise a l'approche classique de la robotique mobile. Nous nous sommes donc tournes, dans un deuxieme temps, vers l'apprentissage de comportements. Pour cela, nous avons developpe un nouvel algorithme d'apprentissage par renforcement pour des problemes de decisions markoviens partiellement observes. Nous avons formalise le cadre applicatif de notre algorithme, c'est-a-dire l'observabilite d'ordre fini du processus markovien, puis nous l'avons valide par des simulations. Ces simulations montrent en outre sa robustesse sur des problemes sortant du cadre theorique de convergence.