Dynamic architecture for multimodal applications to reinforce robot-environment interaction

Abstract

La representation des connaissances et le raisonnement sont au cœur du grand defi de l'Intelligence Artificielle. Plus precisement, dans le contexte des applications robotiques, la representation des connaissances et les approches de raisonnement sont necessaires pour resoudre les problemes de decision auxquels sont confrontes les robots autonomes lorsqu'ils evoluent dans des environnements incertains, dynamiques et complexes ou pour assurer une interaction naturelle dans l'environnement humain. Dans un systeme d'interaction robotique, l'information doit etre representee et traitee a differents niveaux d'abstraction: du capteur aux actions et plans. Ainsi, la representation des connaissances fournit les moyens de decrire l'environnement avec differents niveaux d'abstraction qui permettent d'effectuer des decisions appropriees. Dans cette these, nous proposons une methodologie pour resoudre le probleme de l'interaction multimodale en decrivant une architecture d'interaction semantique basee sur un cadre qui demontre une approche de representation et de raisonnement avec le langage (EKRL environment knowledge representation language), afin d'ameliorer l'interaction entre les robots et leur environnement. Ce cadre est utilise pour gerer le processus d'interaction en representant les connaissances impliquees dans l'interaction avec EKRL et en raisonnant pour faire une inference. Le processus d'interaction comprend la fusion des valeurs des differents capteurs pour interpreter et comprendre ce qui se passe dans l'environnement, et la fission qui suggere un ensemble detaille d'actions qui sont mises en œuvre. Avant que ces actions ne soient mises en œuvre par les actionneurs, ces actions sont d'abord evaluees dans un environnement virtuel qui reproduit l'environnement reel pour evaluer la faisabilite de la mise en œuvre de l'action dans le monde reel. Au cours de ces processus, des capacites de raisonnement sont necessaires pour garantir une execution globale d'un scenario d'interaction. Ainsi, nous avons fourni un ensemble de techniques de raisonnement pour effectuer de l’inference deterministe grâce a des algorithmes d'unification et des inferences probabilistes pour gerer des connaissances incertaines en combinant des modeles relationnels statistiques a l'aide des reseaux logiques de Markov (MLN) avec EKRL. Le travail propose est valide a travers des scenarios qui demontrent l’applicabilite et la performance de notre travail dans les applications du monde reel.