Development of autonomous robotic platforms for sugar beet crop phenotyping using artificial vision

摘要

Phenotyping is a major challenge in international agronomic competition. In a perspective of modern and sustainable agriculture, understanding the relationship between genotype and phenotype according to the environment is one of the major projects of agronomic research. Artificial vision devices embedded on robotic platforms, working in visible or hyperspectral color fields permit to carry out many geometric and colorimetric measurements on crops. From this information, operations like crop varieties comparisons and disease detection are realized. For sugar beet crops, phenotyping operations are made from a two small leaf stage up to the final stage just before harvesting task. Two robotic devices were used to make colorimetric and geometrical measurements on sugar beet plants. An autonomous mobile robot navigating in crop lines for little growth stages, embedded two cameras. A first one, with an oblique orientation permitted to realize autonomous crop raw tracking and the second one in a vertical position was used to record cartographic images and make detailed measurements on sugar beet plants. The second robotic platform was a manipulator arm with 6 degrees of freedom, fixed on a mobile linear axis to make measurements for advanced growing stages. Active perception operations realized with the embedded camera fixed at its extremity, consisted in locating by artificial vision the plant leaves in 3D environment and from this information, the camera was automatically positioned at various desired heights and orientations for each detected leaf, for carrying out, with accuracy, image acquisitions and measurements. Experimentations realized with both robotic platforms, for various sugar beet growing stages, shown the interest of these devices for following and analyzing in detail the geometric and colorimetric evolution of sugar beet plants in the fields, in order to carry out some phenotyping measurements and particularly for detecting some diseases. / Le phénotypage est un enjeu majeur de la concurrence agronomique internationale. Dans une perspective d'agriculture moderne et durable, la compréhension de la relation entre génotype et phénotype en fonction de l'environnement est l'un des projets majeurs de la recherche agronomique. Les dispositifs de vision artificielle embarqués sur des plates-formes robotiques, travaillant dans des champs de couleur visibles ou hyperspectraux, permettent d'effectuer de nombreuses mesures géométriques et colorimétriques sur des cultures. À partir de ces informations, des opérations telles que la comparaison de variétés de cultures et la détection de maladies sont réalisées. Pour les cultures de betteraves à sucre, les opérations de phénotypage sont effectuées à partir du stade de deux petites feuilles jusqu'au stade final juste avant la récolte. Deux appareils robotiques ont été utilisés pour effectuer des mesures colorimétriques et géométriques sur des plants de betterave à sucre. Un robot mobile autonome naviguant dans les lignes de recadrage pour de petites étapes de croissance, intégrant deux caméras. Un premier, avec une orientation oblique, permettait de réaliser un suivi autonome des matières premières et le second, en position verticale, était utilisé pour enregistrer des images cartographiques et effectuer des mesures détaillées sur des plants de betterave à sucre. La deuxième plateforme robotique était un bras manipulateur à 6 degrés de liberté, fixé sur un axe linéaire mobile pour effectuer des mesures pour les stades de croissance avancés. Les opérations de perception active réalisées avec la caméra embarquée fixée à son extrémité ont consisté à localiser par vision artificielle les plantes en feuilles dans un environnement 3D et à partir de ces informations, la caméra a été automatiquement positionnée à différentes hauteurs et orientations souhaitées pour chaque feuille détectée, afin de réaliser, avec précision, acquisition d'images et de mesures. Des expériences réalisées avec