За матеріалами статті на тему «Динамічне визначення надземної структури цукрових буряків у польових умовах, засноване на аналізі зображень» («Image-Based Dynamic Quantification of Aboveground Structure of Sugar Beet in Field»), 14 січня 2020 р.

Цукровий буряк — друга в світі та перша в Європі сировина для виробництва цукру. Він також є джерелом для виробництва біоетанолу та кормів для тварин. За прогнозами збільшення споживання цукру та населення, у даний час світове виробництво цукру становить близько 175 млн т та потребує збільшення на 1 млн т щороку для забезпечення попиту в розмірі 230 млн т у 2050 році. Для покращення світового виробництва цукру та задоволення усіх потреб перед селекційними програмами постає завдання виведення нових генотипів цукрових буряків. Однак фенотипування рослин, як основа селекційних програм, зазвичай виконується вручну, що досить дорого та потребує багато часу. Таким чином, фенотипування рослин є слабким місцем багатьох селекційних програм.

Для прискорення та вдосконалення фенотипування рослин в останні роки з'явилися двовимірні (2D) технології, такі як напівавтоматичні технології на основі 2D-зображення для фенотипування листя та кореня рослини. Однак через втрату однієї просторової інформації при перенесенні даних із тривимірного простору (3D) в 2D ці технології не можуть точно визначити фенотипічні ознаки рослин. У даний час у фенотипуванні рослин використовуються декілька сенсорних 3D-технологій, які можна розділити на дві категорії: активні та пасивні датчики. Активні датчики випромінюють власне джерело світла, незалежно від зовнішнього світла, наприклад, ручне лазерне сканування (LS), структуроване світло (SL), наземне лазерне сканування (TLS) та час поширення (TOF). Ці активні технології мають хорошу роздільну здатність і можуть застосовуватися для різних масштабів фенотипування. Однак вони досить дорогі, особливо лазерне (LS) та наземне лазерне сканування (TLS).

Визначення структури на основі аналізу зображень (SFM), яке характеризується як легке та дешеве, — це широко застосовувана пасивна технологія визначення фенотипічних ознак, біомаси та прогнозування врожайності. Польові умови набагато складніші, ніж тепличні, через більше затінення рослин, вітер, освітлення тощо. У багатьох технологіях (наприклад, структуроване світло (SL), час поширення (TOF)) виникають труднощі з отриманням повної хмари точок окремих рослин, спричинене затіненням рослин або листя в полі тощо. Технологія визначення структури на основі аналізу зображень (SFM) може зменшити вплив затінення шляхом додавання зображень з різних точок зйомки. Чим більше даних, зібраних із різних точок зйомки, тим повніша хмара точок окремих рослин.

Основна мета дослідження —визначення надземної структуру цукрових буряків у польових умовах за методом SFM. Конкретними цілями є: (a) відновлення 3D-хмари точок окремих рослин на основі методу SFM; (b) розробка конвеєру автоматичної обробки даних для обробки хмари точок окремої рослини та виділення фенотипічних ознак, таких як висота рослини, максимальна площа рослинного покриву, обсяг опуклої оболонки безлічі точок, загальна листова поверхня та довжина кожного окремого листка; (c) визначення можливості використання отриманих значень фенотипічних ознак для оцінки біомаси цукрових буряків.

Матеріали та методи

Експериментальне проектування та збір даних

Експеримент проводився у Внутрішній Монголії на півночі Китаю. На експериментальній площі 88 м² (8 м × 11 м) було 20 посівних ділянок, на яких вирощувалися 20 генотипів цукрових буряків. Площа кожної ділянки становила 1,2 × 2,3 м. Посівну було проведено 20 травня 2019 року. Відстань між рослинами в рядку становила 0,25 м, міжряддя — 0,4 м. Відстань між ділянками становила 0,5 м. Організація польових робіт була однаковою для всіх ділянок.

Зразки цукрових буряків відбиралися на пробу через 69 (Т1), 96 (Т2) та 124 (Т3) дні після появи сходів. У кожному періоді було відібрано по 20 зразків рослин. Для зйомки мультивидових зображень окремих рослин використовувалася цифрова камера Canon 800D (Canon, Inc., Токіо, Японія) із роздільною здатністю 6000 × 4000. Знімки були зроблені в два кола навколо рослини, а область суміщення між двома сусідніми зображеннями становила близько 70-80% для захоплення усіх характерних точок з виду збоку та зверху (Графік 1). Після зйомки були проведені ручні вимірювання окремих рослин, включаючи висоту та свіжу біомасу надземної частини рослини. Висоту рослини вимірювали як вертикальну відстань від основи пагону до найвищої точки рослини. Свіжу біомасу визначали за допомогою електронних вагів.

Процес обробки даних

Технологічний потік мультивидових зображень, показаний на Графіку 2, включав наступні кроки щодо хмар точок окремих рослин: (1) відновлення та попередня обробка (Графік 2 а, b); (2) корегування координат (Графік 2 c-е); (3) фільтрація та сегментування (Графік 2 f, h); (4) виділення фенотипічних ознак надземних частин рослини (Графік 2 g, i), що передбачають висоту рослини, максимальну площу рослинного покриву, обсяг опуклої оболонка безлічі точок, загальну листову поверхню та довжину кожного окремого листка.

Графік 2. Процес обробки даних: (а) мультивидові зображення цукрових буряків у польових умовах; (b) реконструйована хмара точок цукрових буряків; (с) окрема хмара точок цукрового буряка; (d) виділена хмара точок земної поверхні, → m являє собою нормальний вектор земної поверхні, а → n означає основний вектор осі z; (e) хмара точок цукрових буряків після корегування координат; (f) хмара точок цукрових буряків після фільтрації; (g) виділення структури цукрових буряків, зелена частина означає максимальну площу рослинного покриву; (h) хмара точок цукрових буряків після сегментування; (i) виділення структури листя, червона лінія являє собою довжину листка.

Результати

Обробка хмари точок окремої рослини

Фільтрація хмари точок окремої рослини

На Графіку 4 показані гістограми середнього значення G-R цукрових буряків у різні періоди їх росту. Кольоровий фільтр G-R виявився ефективним у відділенні цукрових буряків від ґрунту та тіней у три періоди. Були виявлені невеликі відмінності в розділяючих порогових рівнях між трьома періодами (8,5 під час Т1, 6,5 під час Т2 та 7,5 під час Т3). Тому було обрано різницю G-R 7 як порогове значення для фільтрації хмар точок кожної окремої рослини за три періоди. На Графіку 5 показаний приклад процесу фільтрації одного цукрового буряка. Цукровий буряк, тіні та ґрунт були чітко розділені різними кольорами (Графік 5 b). Деякі сторонні значення, які виникали в хмарі точок окремої рослини після кольорової фільтрації (Графік 5 с), повністю усувалися за допомогою статистичної фільтрації.

Графік 4. Середнє значення G-R всіх хмар точок цукрових буряків за три періоди: (a) T1, (b) T2 та (c) T3.Червона пунктирна лінія — значення (G-R), що відокремлює рослини від ґрунту та тіней.

Графік 5. Процес фільтрації: (a) хмара точок окремої рослини після корегування координат; (b) кольоровий розподіл G-R хмари точок; темно-зелені точки — ґрунт; світло-зелені точки — тіні; помаранчеві точки — рослини; (c) хмара точок окремої рослини після кольорової фільтрації; (d) хмара точок окремої рослини після статистичної фільтрації.

Сегментування хмари точок

Хмари точок окремих рослин на трьох етапах їх росту представлені на Графіку 6. І кількість листків, і загальна листова поверхня швидко збільшувалися від Т1 (69 днів після появи сходів) до Т2 (96 днів після появи сходів), оскільки Т1 є періодом, що характеризується швидким ростом цукрових буряків. Говорячи про Т3 (124 днів після появи сходів), більшість листочків деформувалися та почали в’янути. У даному дослідженні 20 генотипів цукрових буряків було розділено на два види (Графік 6). Якщо відстань між листками була великою, їх можна було легко розрізнити, особливо під час Т3 (Графік 6 а). У протилежному випадку, їх дуже важко відокремити один від одного, особливо під час Т2 (Графік 6 b).

Графік 6. Хмара точок окремої рослини на трьох етапах її росту (69 (Т1), 96 (Т2) та 124 (Т3) дні після появи сходів) з великою відстанню між листочками (а) та щільним їх розміщенням (b).

Хмари точок окремих листків були відокремлені з використання алгоритму регіонального вирощування, як показано на Графіку 7. Протягом трьох етапів метод сегментування був ефективним при T1 і T3, оскільки листки легко відділялися один від одного. Однак на стадії Т2 листя не було добре розділене. Що стосується хмари точок на етапі T2, то середня частина листя значно перекривається (листя в синьому колі на Графіку 7b). Таким чином, його було досить важко розділити на окремі листочки. Точки деформованого листя зникали після початкового сегментування, виділеного на Графіку 7а червоним кольором. Враховуючи близьку відстань між точками одного й того самого листка, алгоритм кластеризації був додатково використаний для ефективного пошуку цих втрачених точок та збереження цілісності сегментованого листка (Графік 8).

Графік 7. Сегментування хмар точок цукрових буряків на окремі листочки на стадіях росту (а) T1, (b) T2 та (c) T3, використовуючи алгоритм регіонального вирощування. Різні кольори представляють окремі листочки в різному положенні на рослині. Червоні точки на кожному листку були відкинуті в першому сегментуванні. Листки червоного кола являли собою деформоване листя, яке втратило багато точок після сегментування. Листя синього кола на етапі Т2 перекривалося один одним і не може належним чином розділятися.

Графік 8. Вплив алгоритму кластеризації на хмари точок окремих листків до (а) та після (b) кластеризації. Видалена хмара точок після сегментування регенерувалася після кластеризації, щоб зберегти цілісність сегментованого листка.

Оцінка точності

Для того, щоб оцінити точність даного методу було проведено порівняння очікуваної висоти рослини з вимірюваною, як показано на Графіку 9а. Були виявлені кореляції між очікуваною та вимірюваною висотою рослини (R² = 0,88, RMSE = 5,2 см). Однак у більшості випадків очікувана висота була більшою за вимірювану. Точна оцінка довжини листової пластини також була показана на Графіку 9b. Було виявлено високий R² (0,83) та низький RMSE (1,77 см). Підібрана крива була близькою до кривої 1:1.

Графік 9. Порівняння очікуваної висоти цукрового буряка (а) та очікуваної (b) довжини окремого листка з фактичними даними

Декілька точок були далеко від кривої 1:1 на Графіку 9a, b, що означає певні невідповідності між очікуваними та вимірюваними значеннями. Для визначення цих невідповідностей було показано два випадки на Графіку 10. У першому випадку очікувана висота була значно вищою, ніж вимірювана (Графік 10а, b). У другому випадку очікувана висота відрізняється від вимірюваної (Графік 10c, d).

На Графіку 11 показано довжину листової пластини двох видів листя (звичайного (a-d) та деформованого листка (e-h)). Деформоване листя зазвичай розташовується в нижній частині рослини, не піддаючись впливу сонця. Даним методом можна отримати плавні криві для обох видів листя (Графік 11c, g). Частка деформованого листя до загальної кількості листя була дуже невеликою (3 з 70 листків в оцінці точності). Тому вказаний метод не врахував цю ситуацію.

Графік 10. Два випадки невідповідностей між виміряною та очікуваною висотою рослини. (a) Рослина А після корегування координат; (b) рослина А після фільтрації; (c) рослина B після корегування координат; (d) рослина В після фільтрації. Червона та синя лінія — вимірювана та очікувана висота.

Графік 11. Довжина листової пластини звичайного (a-d) та деформованого листка (e-h). (a, e) Цільовий листок на рослині; (b, f) відображення листової пластини без черешка; (c, g) витягнуті криві середньої жилки; (d, h) відображення витягнутих кривих на листках.

Динамічна оцінка фенотипічних ознак та біомаси рослин

Динамічні зміни висоти рослини, максимальної площі рослинного покриву та обсягу опуклої оболонки безлічі точок досліджувалися за допомогою відтвореної хмари точок (Графік 12). Середнє значення висоти рослини збільшувалося від стадії Т1 до Т2 і досягло максимального рівня на стадії Т2. Потім висота рослин незначно зменшилася від стадій T2 до T3. Середні значення максимальної площі рослинного покриву та обсягу опуклої оболонки безлічі точок збільшувалися поступово від T1 до T3. Фенотипічні ознаки на стадії Т3 сильно відрізнялися від стадій Т1 і Т2.

Графік 12. Розподіл (а) висоти рослини, (b) максимальної площі рослинного покриву та (c) обсягу опуклої оболонки безлічі точок цукрових буряків на стадіях Т1, Т2 та Т3. Зелені трикутники — середнє арифметичне, а червоні лінії — середина. Червоні хрести — випадаючі показники, а ящики з вусами, діаграми розмаху представляють крайні значення хмар точок.

Визначення свіжої маси на основі отриманих ознак було досліджено та показано на Графіку 13. На стадії T1 і T2 і листова поверхня, і обсяг опуклої оболонки безлічі точок мали тісний зв'язок із свіжою масою та R² більше 0,80 (Графік 13a, c). Значення листової поверхні, обсягу опуклої оболонки безлічі точок та свіжої маси під час Т2 були очевидно вищими, порівняно з Т1, відповідно до розвитку рослин. З урахуванням обчисленої листової поверхні та обсягу опуклої оболонки безлічі точок на стадії Т3, закономірні результати щодо біомаси зменшилися (Графік 13b, d). Значення R² зменшилися до 0,82 і 0,78 для співвідношення свіжої біомаси з листовою поверхнею або з обсягом опуклої оболонки безлічі точок.

Графік 13. Співвідношення розрахункових ознак та свіжої маси: (a) орієнтовна загальна листова поверхня та свіжа маса на етапах T1 та T2; (b) орієнтовна загальна листова поверхня та свіжа маса на етапах T1, T2 та Т3; (c) орієнтований обсяг опуклої оболонки безлічі точок та свіжа маса на етапах T1 та T2; (d) орієнтований обсяг опуклої оболонки безлічі точок та свіжа маса на етапах T1, T2 та Т3.

Обговорення

Обробка хмар точок окремих рослин

Сегментування відіграє важливу роль у фенотипуванні рослин. У даному дослідженні було використано алгоритм регіонального вирощування для сегментування рослин на окреме листя. А кластеризація на основі евклідової відстані дозволила повністю відтворити хмари точок окремих сегментованих листків (Графік 8b). Крім того, сегментування рослини на окреме листя ускладнюється під час середньої та пізньої стадії росту рослин. У даному дослідженні було виявлено менше перекривання листям один одного на стадіях T1 і T3, порівняно зі стадією T2. На етапі Т2 перекривання листям один одного було настільки сильним, що навіть ручне його розділення не може бути ефективним (Графік 7b). Наскільки відомо, повністю автоматичне сегментування було реалізовано лише на широколистяних рослинах із незначною кількістю листків та на вузьколистих культурах із незначною кількістю листків та без пагонів.

Корегування хмари точок окремої рослини має важливе значення для оцінки фенотипічних ознак рослини, таких як висота рослини та рослинний покрив тощо. Успіх корегування багато в чому залежить від наземного обстеження. Алгоритм RANSAC забезпечує ефективне наземне спостереження та обстеження ґрунту в тепличному експерименті з горщиками. У даному дослідженні алгоритм RANSAC був використаний для наземного обстеження в польових умовах (Графік 2d). Оскільки алгоритм RANSAC завжди відрізняв найбільшу площину з найбільшою хмарою точок як наземну поверхню, інша гладка площина була виявлена в якості базового ґрунту через нерівний ґрунт у польових умовах, як показано на Графіку 10c. При неправильному обстеженні ґрунту фенотипічні ознаки рослин не можна ефективно визначити. Щоб уникнути цього недоліку, хмара наземних точок повинна залишатися максимально цілісною, коли популяція рослин розділяється на окремі рослини (Графік 2b, c).

Виявлення фенотипічних ознак рослини

Висота рослини, як основна фенотипічна ознака, може використовуватися не тільки як інтуїтивний показник стану росту рослин, але і для визначення біомаси та врожайності. У даному дослідженні висоту рослини вимірювали як вертикальну відстань від основи стебла до найвищої точки рослини. Розрахункову висоту рослини обчислювали з граничної рамки хмари точок окремої рослини після корегування координат та фільтрації (Графік 2g). Орієнтовна висота рослини була тісно пов’язана з вимірюваною висотою (R² = 0,88), але була трохи вищою, ніж фактичні значення (Графік 9а). Було встановлено, що поверхня поля була нерівною, а багато листя цукрових буряків  опускалося на землю, нижче від основи стебла (Графік 10а). Тому висота граничної рамки часто була більшою, ніж фактична висота рослини (Графік 10b). Ще однією очевидною різницею між фактичною та розрахунковою висотою рослини було неточне корегування координат рослини (Графік 10c, d).

Довжину листової пластини було дуже зручно і точно оцінювати на основі її хмари точок. Найважливішим кроком було точно визначити основу та кінчик листової пластини для точного обчислення довжини листка. Аналіз основних компонентів (PCA) часто використовувався для виявлення кінцевих точок окремих листків, але на його точність сильно впливала форма листя. Через складну форму цукрових буряків, вирощених у польових умовах, відносне положення листя на рослині розглядалося як критерій визначення кінцевих точок листків. Дослідники застосували алгоритм найкоротшого шляху для визначення середньої частини листової пластини на основі кінцевих точок, тоді як вісь Z оберталася таким чином, щоб кінцеві точки листка знаходилися на одній осі, щоб знайти середню частину листової пластини. Даний метод може бути ефективним на більшості листя (Графік 11d). Але було виявлено певне відхилення між витягнутою кривою та серединою листової пластини деформованого листя (Графік 11h). Незважаючи на те, що деформованого листя було менше і воно завжди було розташоване в нижній частині рослини, все ж потрібен більш комплексний метод для оцінки довжини всіх листків.

Визначення біомаси за допомогою фенотипічних ознак рослин

Визначення біомаси необхідне для біологічних досліджень та економіки й організації сільського господарства. Багато досліджень показали, що загальна листова поверхня узгоджується з біомасою. Відповідність між загальною листовою поверхнею та свіжою біомасою була визначена окремо в дослідженні на етапах T1 - T3 (Графік 12b) та T1 - T2 (Графік 12а), а для останнього було виявлено кращі показники (R² = 0,88), порівняно з R² = 0,82. Цукровий буряк росте дуже швидко від стадії Т1 до Т2 і поступово старіє від стадії Т2 до Т3. Були й інші фенотипічні ознаки, що стосуються посівної площі, наприклад, листова поверхня та площа рослинного покриву, які використовувалися для визначення біомаси. Кореляція між цими фенотипічними ознаками та біомасою може бути нижчою, ніж між загальною листовою поверхнею та біомасою, але її легше виміряти. Крім того, дослідники встановили, що обсяг стебла має більше переваг, ніж загальна листова поверхня, при визначенні біомаси на пізньому етапі росту рослин.

Опукла та увігнута оболонка безлічі точок використовувалися для опису обсягу. Оскільки дослідження показали, що увігнута оболонка має низьку ефективність для визначення біомаси, було досліджено співвідношення між лише опуклою оболонкою та біомасою. Подібно до загальної листової поверхні, оцінка стадій T1 – T2 краща, ніж T1 – T3, але різниця між ними не суттєва. Визначення біомаси за опуклою оболонкою, очевидно, поступається загальній листовій поверхні (Графік 12). Для визначення відношення зі свіжою масою у дослідженні використовувалися лише загальна листова поверхня та опукла оболонка.

Дослідження фенотипування окремих рослин зазвичай проводяться в тепличних умовах, але рідко в польових умовах через погодний фактор. Метод SFM дозволяє отримати точну хмару точок окремих рослин у польових умовах, що зручно для ефективного визначення ознак на органному рівні. Останні роки спостерігався швидкий розвиток фенотипування за допомогою безпілотних літальних апаратів (БПЛА). БПЛА, встановлені за допомогою rgb-камери, ідентифікація та визначення дальності за допомогою світла (lidar) або багатоспектральна камера завжди використовувалися для швидшого отримання спектральної інформації або даних про хмару точок. Однак фенотипування за допомогою БПЛА зосереджується на рослинному покриві з середньою висотою рослин, листовим індексом та площею вилягання. Наскільки відомо, БПЛА з датчиками не може визначати фенотипічні ознаки окремих органів рослин.

У даному дослідженні також є незначні погрішності. Коливання рослин на вітрові призводять до помилок при відтворення 3D-моделі. Вплив вітру дуже поширений у польових дослідженнях. Мінімізація часового інтервалу між кожним збором даних може бути можливим рішенням цієї проблеми. Крім того, метод SFM зручний для збирання даних, але вимагає багато часу для їх кінцевої обробки. Із розвитком GPU обчислення час кінцевої обробки даних значно скоротився, але все ще не може задовольнити потреби реконструкції в режимі реального часу. Оскільки одночасна локалізація та картування (SLAM) швидко розвивається, в майбутньому слід очікувати більш ефективного алгоритму відновлення.