Neurocomputational Mechanisms for Adaptive Self-Preservative Robot Behaviour

摘要

Im Gebiet der neurokognitiven Robotik werden die Verarbeitungsmechanismen des Gehirns als Inspiration und Leitlinie verwendet. Inspiriert von diesen Mechanismen des Gehirns sollten Computerimplementationen der Roboterwahrnehmung und -aktion auf neuronalen Architekturen und biologisch plausiblen Lernmechanismen basieren. Die Verwendung von Unsupervised- und Reinforcement-Learning hat zu guten Ergebnissen in der Bildung interner sensorischer Reprasentationen und intelligentem, durch Belohnung gesteuertem Verhalten gefuhrt. Allerdings werden andere Aspekte im Verhalten von Tieren in der Regel nicht berucksichtigt, obwohl oft argumentiert wird, dass nur eine umfassendere Untersuchung des Verhaltens von Tieren zu einem tieferen Verstandnis von intelligentem Verhalten fuhren kann, wie es in dieser Arbeit diskutiert wird. Selbsterhaltung ist ein Beispiel fur eine solche bisher vernachlassigte, aber ursprungliche und wesentliche Fahigkeit eines jeden Organismus. Es wird vermutet, dass der Selbsterhaltungstrieb Grundregeln fur komplexeres und motiviertes Verhalten setzt. Obwohl viele dieser angeborenen Reaktionen fest im Gehirn codiert sind, sind sie nicht ausreichend, um das Uberleben des Organismus zu sichern. Er muss sich durch Lernen an neue und unerwartete Situationen in seinem Leben anpassen und ist nur so in der Lage, effektiv mit seiner Umwelt zu interagieren. Eine Schlusselkomponente fur die lebenslange Anpassung ist die Bildung von Assoziationen beziehungsweise Erinnerungen von Umweltpradiktoren und relevanten Ereignissen, welche vor allem auf Lernen durch Bestrafung und Belohnung angewiesen sind. Wir setzen voraus, dass ein tieferes Verstandnis der angeborenen und erlernten Schutzmechanismen auch hilfreich bei der Entwicklung kunftiger Robotergenerationen sein konnte, um diese Roboter anpassungsfahig und robust zu machen. Daher untersuchen und entwickeln wir in dieser Arbeit drei neuroinformatische Selbsterhaltungsmechanismen im Kontext humanoider Serviceroboter und zeigen das Potential und die Durchfuhrbarkeit der Integration von bio-inspirierten adaptiven Selbsterhaltungsmechanismen als Teil realer Robotersysteme auf. Unser Ziel ist es, mogliche Ansatze zu prasentieren, durch die Roboter auf verschiedenen neurokognitiven Ebenen mit adaptiven Selbsterhaltungsmechanismen ausgestattet werden konnen, angefangen mit abstrakten biologischen Modellen bis hin zu implementierten neuroinformatischen Modellen. Das erste Experiment behandelt das Problem der energetischen Autonomie. Wir trainierten einen Roboter darauf, Belohnung durch appetitive Stimuli anzustreben. Es wurde ein Reinforcement Learning Algorithmus (SARSA) implementiert und weiterentwickelt, der in einem realen Szenario lernen und einen humanoiden Roboter zu einer Ladestation manovrieren soll. Das zweite Experiment konzentriert sich auf die Rolle der Bestrafung und nozizeptiver Stimuli beim Erlernen motorischer Aktionen. Diese Arten von Feedback spielen eine wichtige Rolle bei der Steuerung von Aufmerksamkeit und der Modularisierung der Entscheidungsfindung. Sie wurden jedoch noch nicht vollstandig in Computermodellen untersucht. Wir vergleichen die Wirkung dieser Arten von Feedback auf einen Actor-Critic-basierten Lernalgorithmus (CACLA). Im letzten Experiment untersuchen wir die Rolle noxischer Stimuli in der Bildung antizipierenden Verhaltens. Dieses Experiment basiert auf Pawlowscher und instrumenteller Konditionierung und untersucht, wie Umweltreize verwendet werden konnen, um negative Folgen zu antizipieren. Ein hybrider Ansatz unter der Verwendung eines Echo State Networks (ESN) und Dopamin-modulierender Pawlowschen Konditionierung wurde verwendet, um noxische sensorische Stimuli basierend auf auditorischen Reizen zu antizipieren. In allen drei Versuchen haben wir gezeigt, wie bisher vernachlassigte Selbsterhaltungsmechanismen bedeutsame Probleme der kunstlichen Intelligenz losen konnen und gleichzeitig die Grundlage fur neue neuroinspiriert