Интеллектуальные системы, основанные на компьютерном зрении, проникли практически во все сферы жизни современного человека. Эти системы объединяют компьютерное зрение, искусственный интеллект (ИИ) и технологии машинного обучения и позволяют машинам имитировать зрительные и когнитивные способности человека для принятия обоснованных решений по поставленной задаче. Технология компьютерного зрения используется для обработки и интерпретации визуальной информации из окружающей среды, а технологии искусственного интеллекта (ИИ) вместе с алгоритмами машинного обучения применяются для распознавания закономерностей и прогнозирования действий. Эти интеллектуальные системы улучшают производительность за счет обучения с течением времени.

В этой статье мы рассмотрим использование компьютерного зрения в земледелии. Мы рассмотрим различные этапы так называемого цифрового сельского хозяйства, включая получение изображений, объединение и анализ изображений, принятие решений с помощью машинного обучения.

Цифровое сельское хозяйство

В цифровом сельском хозяйстве процесс начинается с получения изображений, при этом используются различные средства для захвата вида сельскохозяйственных культур, что позволяет воспроизвести и улучшить видение фермера. Затем эти изображения обрабатываются с помощью методов компьютерного зрения и могут либо непосредственно использоваться для анализа и извлечения данных, либо применяться для создания панорамных видов для цифрового картографирования и последующего анализа.

После извлечения данных и информации используются различные методы машинного обучения и искусственного интеллекта для создания прогнозов и оценок, относящихся к рассматриваемой проблеме. Эти проанализированные результаты и оценки затем используются фермерами для разработки эффективных планов и обработки сельскохозяйственных культур, направленных на максимизацию их урожайности.

Технология получения изображений в сельском хозяйстве включает в себя использование наземных роботов, воздушных беспилотников и дистанционное зондирование с помощью спутниковых снимков. С помощью этих технологий получения изображений можно исследовать и контролировать сельскохозяйственные культуры в режиме реального времени для оценки состояния здоровья, оценки урожайности и определения состояния почвы, что приводит к повышению качества продукции и улучшению планирования. Основные технологии получения изображений, используемые в сельскохозяйственной съемке, включают RGB, многоспектральную гиперспектральную и тепловую съемку, как показано на рисунке ниже.

Начнем с RGB изображений.

RGB-изображения

Широко распространенным методом формирования изображений является RGB‑метод, при котором цифровая камера фиксирует видимый свет, отраженный от объектов, и создает цифровое изображение. Видимый свет относится к диапазону 400–700 нм электромагнитного спектра и включает в себя красную, синюю и зеленую полосы электромагнитного спектра. Техника получения RGB‑изображений широко используется исследователями для различных задач цифрового сельского хозяйства.

Например, с помощью RGB‑камеры с высоким разрешением на основе светочувствительной матрицы можно получать изображения образцов почвы с целью определения содержания влаги в ней, изображения побегов растений с целью обнаружения различных заболеваний.

Мультиспектральная съемка

Мультиспектральная съемка собирает несколько дискретных спектральных полос, обычно менее 10, включая RGB‑каналы видимого спектра, ближнего и дальнего инфракрасного и ближнего ультрафиолетового диапазонов электромагнитного спектра.

Мультиспектральные снимки могут использоваться для раннего выявления стрессов у сельскохозяйственных культур, что позволяет своевременно принимать решения по повышению урожайности и минимизации использования пестицидов и удобрений. Данные также могут быть использованы для оценки урожайности путем подсчета растений.

Гиперспектральная съемка

Гиперспектральная съемка состоит из непрерывных узких полос со спектральным разрешением 10–20 нм. Изображение может содержать сотни полос электромагнитного спектра и обладает большей информативностью по сравнению с мультиспектральной съемкой, однако сложность его создания возрастает из‑за наличия избыточной информации.

Гиперспектральная съемка имеет высокое пространственное и временное разрешение, что позволяет различать мелкие особенности и изменения в состоянии растений, а также деградацию почвы и изменения других факторов окружающей среды. В то время как мультиспектральная съемка может предоставить информацию о состоянии растений в целом с помощью отражения растительности в видимой, ближней инфракрасной и красной областях, гиперспектральная информация может быть использована для идентификации конкретных заболеваний, сорняков или вредителей на основе уникальной спектральной подписи каждой культуры и растительности, включая сорняки. Данный тип съемки в основном используется для классификации сельскохозяйственных культур и идентификации сорняков.

Тепловидение

Тепловидение воспринимает инфракрасное излучение, испускаемое объектом, для получения теплового изображения соответствующего объекта.

Оно может быть использовано для обнаружения водного стресса у сельскохозяйственных культур, учитывая, что температура растений, испытывающих стресс, выше по сравнению с растениями, не испытывающими его.

Часто используется комбинация мультиспектральной и тепловой инфракрасной камеры для выявления водного стресса у растений. Для сбора изображений использовались БПЛА на которые устанавливались обе камеры. Объединение двух видов компьютерного зрения позволяет существенно улучшить результаты.

Совмещение изображений и фотограмметрия

Совмещение используется для создания панорамного изображения из двух или более перекрывающихся изображений. Основными задачами при совмещении являются выравнивание и смешивание. В процессе выравнивания изображений устанавливается соответствие между перекрывающимися изображениями. Два основных подхода к выравниванию — прямой и основанный на признаках.

Прямые методы используют попиксельное сравнение для установления перекрытия между различными изображениями одной и той же сцены. Методы, основанные на признаках, используют сопоставление ключевых точек для поиска совмещения изображений. После выявления перекрытия применяются соответствующие преобразования, чтобы выровнять изображения для процесса регистрации. Наконец, для обеспечения плавного перехода между изображениями выполняется смешивание с удалением резких линий и призрачных артефактов, возникающих в процессе регистрации изображений. Рабочий процесс сшивания изображений представлен на рисунке ниже.

Разобравшись с использованием основных методов компьютерного зрения рассмотрим более комплексные задачи, решаемые в цифровом сельском хозяйстве

Обнаружение стресса и целенаправленное опрыскивание

Стресс растений означает состояние, которое влияет на нормальный рост растения. Так, на урожайность и продуктивность культур сильно влияют стрессы, которые могут быть вызваны различными факторами окружающей среды. В зависимости от причин стрессы можно разделить на две категории: абиотические стрессы и биотические стрессы.

Абиотические стрессы вызываются неживыми компонентами экосистемы. Это может быть очень высокая или низкая температура, недостаточное или избыточное количество воды, засоленность, радиация или присутствие тяжелых металлов в почве.

Биотические стрессы — это стрессы, вызванные вредителями, грибками и другими микроорганизмами, которые являются причиной различных заболеваний растений. На рисунке ниже описан рабочий процесс автоматизированной системы обнаружения биотических и абиотических стрессов в растениях, управляемой компьютерным зрением.

В аналитическом блоке системы, анализирующей состояние растений используются методы технического зрения для извлечения необходимой информации в соответствии с поставленной задачей. Затем эта информация передается в блок обучения, который классифицирует и прогнозирует стрессы растений. Блок принятия решений принимает необходимые решения о потребности в орошении и целевом распылении пестицидов и удобрений.

На урожайность культур влияет множество факторов, включая болезни, вредителей, недостаток питательных веществ, воды и характеристики почвы. Имея точную оценку урожайности, фермеры могут иметь представление о совокупном влиянии факторов, влияющих на урожайность, и, таким образом, принимать обоснованные решения о внесении удобрений, применении агрохимикатов, сборе урожая и т. д.

Контроль качества

Автоматизированный контроль качества и сортировка сельскохозяйственной продукции важны для многих аспектов, включая устойчивость продуктов питания и сокращение их потерь. Раннее обнаружение дефектов имеет решающее значение для увеличения срока хранения продукции. Учитывая, что высококачественные продукты могут приносить больший доход, специалисты по цепочкам поставок могут использовать оценку качества на основе технического зрения для распределения товаров по различным каналам сбыта в зависимости от предпочтений покупателей на основе заданных параметров качества.

Интеллектуальные системы, управляемые зрением, более последовательны и объективны по сравнению с ручными аналогами, что делает оценку качества более надежной. Как показано на рисунке, изображения продукции анализируются с помощью машинного зрения и обработки изображений, а извлеченные данные используются для прогнозирования качества для сортировки и сортировки соответственно.

Заключение

Компьютерное зрение активно используется в различных отраслях промышленности и сельское хозяйство не является исключением. В этой небольшой статье мы рассмотрели основные технологии компьютерного зрения и их применение в сельском хозяйстве. Благодаря использованию компьютерного зрения можно существенно упростить жизнь специалистам, занимающимся земледелием.

В заключение приглашаем на открытые уроки, на которых вы сможете рассмотреть практические кейсы по CV и задать вопросы экспертам:

• Инференс без задержек: как ускорить обработку видео для CV‑моделей — 3 июля в 20:00

• YOLO‑pose и MediaPipe в деле: распознаём позы и ключевые точки в реальном времени — 17 июля в 20:00

Также рекомендуем пройти вступительное тестирование — это первый шаг к успешному поступлению на курс «Компьютерное зрение. Advanced» и индивидуальной рекомендации по обучению.