Visual Tracking, Pose Estimation, and Controlfor Aerial Vehicles

Abstract

El principal objetivo de esta tesis es dotar a los vehiculos aereos no tripulados (UAVs, por sus siglas en ingles) de una fuente de informacion adicional basada en vision. Esta fuente de informacion proviene de camaras ubicadas a bordo de los vehiculos o en el suelo. Con ella se busca que los UAVs realicen tareas de aterrizaje o inspeccion guiados por vision, especialmente en aquellas situaciones en las que no haya disponibilidad de estimar la posicion del vehiculo con base en GPS, cuando las estimaciones de GPS no tengan la suficiente precision requerida por las tareas a realizar, o cuando restricciones de carga de pago impidan anadir sensores a bordo de los vehiculos. Esta tesis trata con tres de las principales areas de la vision por computador: seguimiento visual y estimacion visual de la pose (posicion y orientacion), que a su vez constituyen la base de la tercera, denominada control servo visual, que en nuestra aplicacion se enfoca en el empleo de informacion visual para controlar los UAVs. Al respecto, esta tesis se ocupa de presentar propuestas novedosas que permitan solucionar problemas relativos al seguimiento de objetos mediante camaras ubicadas a bordo de los UAVs, se ocupa de la estimacion de la pose de los UAVs basada en informacion visual obtenida por camaras ubicadas en el suelo o a bordo, y tambien se ocupa de la aplicacion de las tecnicas propuestas para solucionar diferentes problemas, como aquellos concernientes al seguimiento visual para tareas de reabastecimiento autonomo en vuelo o al aterrizaje basado en vision, entre otros. Las diversas tecnicas de vision por computador presentadas en esta tesis se proponen con el fin de solucionar dificultades que suelen presentarse cuando se realizan tareas basadas en vision con UAVs, como las relativas a la obtencion, en tiempo real, de estimaciones robustas, o como problemas generados por vibraciones. Los algoritmos propuestos en esta tesis han sido probados con informacion de imagenes reales obtenidas realizando pruebas on-line y off-line. Diversos mecanismos de evaluacion han sido empleados con el proposito de analizar el desempeno de los algoritmos propuestos, entre los que se incluyen datos simulados, imagenes de vuelos reales, estimaciones precisas de posicion empleando el sistema VICON y comparaciones con algoritmos del estado del arte. Los resultados obtenidos indican que los algoritmos de vision por computador propuestos tienen un desempeno que es comparable e incluso mejor al de algoritmos que se encuentran en el estado del arte. Los algoritmos propuestos permiten la obtencion de estimaciones robustas en tiempo real, lo cual permite su uso en tareas de control visual. El desempeno de estos algoritmos es apropiado para las exigencias de las distintas aplicaciones examinadas: reabastecimiento autonomo en vuelo, aterrizaje y estimacion del estado del UAV. Abstract The main objective of this thesis is to provide Unmanned Aerial Vehicles (UAVs) with an additional vision-based source of information extracted by cameras located either on-board or on the ground, in order to allow UAVs to develop visually guided tasks, such as landing or inspection, especially in situations where GPS information is not available, where GPS-based position estimation is not accurate enough for the task to develop, or where payload restrictions do not allow the incorporation of additional sensors on-board. This thesis covers three of the main computer vision areas: visual tracking and visual pose estimation, which are the bases the third one called visual servoing, which, in this work, focuses on using visual information to control UAVs. In this sense, the thesis focuses on presenting novel solutions for solving the tracking problem of objects when using cameras on-board UAVs, on estimating the pose of the UAVs based on the visual information collected by cameras located either on the ground or on-board, and also focuses on applying these proposed techniques for solving different prob