Wheat Yield Assessment Using In-Field Organ-Scale Phenotyping and Deep Learning Methods

Abstract

Agriculture is currently facing a series of pressing challenges such as climate change, soil degradation, and population growth, which pose a significant threat to food security and environmental sustainability. In the past, the green revolution, which relied heavily on the use of inputs and new genotypes, led to significant gains in crop productivity. Yet, the use of intensive inputs is no longer sustainable due to its negative environmental impacts and to the societal concerns. Therefore, it is crucial to develop new solutions that enable continued crop improvement while reducing inputs such as fertilizers, pesticides, and water.

To effectively address these challenges, plant breeding plays a vital role, requiring a comprehensive understanding of plant behavior from biological, physiological, and agronomic perspectives. Large-scale phenotyping is essential to this process, as it involves characterizing plants in diverse environmental and cultural situations, enabling the identification of desirable traits for selection and optimization of crop management practices. While manual phenotyping is labor-intensive and subject to human subjectivity, automated phenotyping techniques utilizing sensors are being developed to allow for faster, more precise, and objective plant characterization. However, their application under outdoor conditions remains limited due to constraints such as wind, changing light conditions and dense canopy.

In this work, a mobile phenotyping platform has been developed, equipped with a set of cameras. The platform has been used to study several winter wheat trials using two RGB cameras and one multispectral camera. The current thesis focuses mainly on the development of the image analysis pipeline, with a pronounced investigation of the use of artificial intelligence algorithms. The methods have enabled the detection of wheat ears to count the density per hectare, the detection of disease-related damage, and the estimation of biophysical variables such as above-ground biomass, leaf area index and nitrogen content. The deep learning approaches showed to be better as traditional machine learning methods and tends to better generalized. Estimated throughout the growing seasons, these traits were used as predictors of grain yield and yield components providing a deeper understanding of these complex yet highly relevant traits.

Despite significant advancements in the field of automated phenotyping, its adoption by end-users such as breeders is still very limited. Therefore, it is essential to continue raising awareness among stakeholders in the agricultural industry about the benefits of using these technologies to improve sustainable agricultural production. By embracing new technologies, we can help to develop crops that are better adapted to diverse conditions, increase crop productivity, and reduce the negative impacts of agriculture on the environment.

Alternate abstract:

L’agriculture est actuellement confrontée à une série de défis pressants tels que le changement climatique, la dégradation des sols et la croissance démographique, qui constituent une menace significative pour la sécurité alimentaire et la durabilité environnementale. Dans le passé, la révolution verte a engendré des gains de productivité grâce à l’utilisation d’intrants et de nouveaux génotypes. Toutefois, l’emploi excessif d’intrants s’avère désormais insoutenable en raison de ses impacts environnementaux et des préoccupations sociétales. Il devient ainsi primordial de concevoir des solutions novatrices permettant d’améliorer les cultures tout en réduisant l’utilisation d’engrais, de pesticides et d’eau.

Face à ces enjeux, la sélection variétale joue un rôle essentiel, nécessitant une compréhension globale du comportement des plantes d’un point de vue biologique, physiologique et agronomique. La phénotypage à grande échelle est essentiel à ce processus, car il consiste à caractériser les plantes dans des situations environnementales et de culture diverses, ce qui permet d’identifier des traits d’intérêts pour la sélection et l’optimisation des itinéraires techniques. Alors que le phénotypage manuel est intensif en main-d’œuvre et sujet à la subjectivité humaine, des techniques automatisées basées sur des capteurs sont en développement, visant une caractérisation plus rapide, précise et objective des plantes. Néanmoins, leur déploiement en condition extérieur est restreint par des facteurs tels que le vent, les variations de luminosité et la densité végétale.

Durant ces quatres années de recherche, une plateforme mobile de phénotypage a été développée. Elle a été utilisée pour suivre plusieurs essais de blé d’hiver en utilisant deux caméras RVB et une caméra multispectrale. La thèse actuelle se concentre principalement sur le développement de la pipeline d’analyse d’image, avec une utilisation importante d’algorithmes d’intelligence artificielle. Ces méthodes ont permis de détecter les épis de blé pour estimer la densité à l’hectare, d’identifier les dommages liés aux maladies et de quantifier des variables biophysiques telles que la biomasse aérienne, l’indice de surface foliaire et la teneur en azote. Finalement, la temporalité de ces traits estimés a été exploitée pour mieux comprendre le rendement en grains et ses composantes de rendement.

Malgré les progrès significatifs dans le domaine du phénotypage automatisé, son adoption par les utilisateurs finaux, notamment les sélectionneurs, demeure limitée. Ainsi, il demeure impératif de sensibiliser les acteurs de l’industrie agricole aux avantages de ces technologies. En adoptant ces nouveautés, ces acteurs auront l’opportunité d’améliorer et d’accélérer leurs efforts pour développer des cultures résilientes, productives et moins impactantes sur l’environnement.