Недавно мой коллега рассказал как мы роботизируем зерноуборочные комбайны и чему научились за этот сезон.
Начинается уборка кормовых культур и мы активно осваиваем кормоуборочную технику.
Кормоуборочный комбайн – технически более сложная и мощная машина. В связке с ним идут сразу несколько транспортных средств для сбора урожая (трактора с прицепом, грузовики, силосовозы). К работе на такой технике допускаются только опытные механизаторы, у которых за спиной несколько лет работы.
Работа на комбайне во время уборки кормовой кукурузы похожа на езду в машине в густом тумане, только вместо тумана на протяжении всего пути высокая зеленая стена из растений, из которой может выскочить кабан, столб или человек. Перемолов человека (история есть в моей прошлой статье), комбайнеры седеют и больше не могут работать. Кроме этого, в этом «зеленом тумане» надо суметь не врезаться в рядом едущий силосовоз, следить за точностью загрузки силоса с хоботом длиной до 7 метров, из которого вылетает по 50-60 кг силоса в секунду, и равномерно заполнять фургон, чтобы он не гонял полупустым туда сюда.
Фактически один комбайнёр работает за троих, следит за процессом уборки кукурузы (одно рабочее место), ведёт технику (второе рабочее место), загружает силосовоз (третье рабочее место). В итоге что-то страдает. Если плохо вести, можно сломать дорогую технику (минимальная цена кормоуборочного комбайна 16 млн рублей, есть модели и по 50 миллионов), поэтому обычно ухудшается качество уборки и загрузки.
Большую часть работы мы автоматизируем, сейчас расскажу какие сложности мы преодолеваем и что делаем.
Высота спелой кукурузы в среднем 2-2,5 метра, высота комбайна 2,5 метра, механизатор находится чаще всего на уровне чуть выше стоящего на земле человека и видит перед собой только растения, дальше своего носа он по сути уже не видит и так на протяжении всего рабочего дня, а это 12 часовая смена, немногие могут выдержать такое напряжение на глаза и держать темп сборки, а еще на пути могут выскочить кабанчики или столб!
Существуют комбайны, например KRONE, с телескопической кабиной, которая поднимается на высоту до 3 метров, или Acros RSM-142 высотой 4 метра, но это скорее исключение из правил.
Поэтому работать за таким комбайном могут только опытные комбайнеры, которые проработали уже 3-4 сезона.
В отличии от зерноуборочных, кормоуборочный комбайн не может хранить урожай в бункере, а сразу выдает его через выгрузной хобот в едущее рядом транспортное средство. Как я говорил, скорость выброса силоса может достигать 50 кг в секунду, в зависимости от модели комбайна, длина хобота при этом 5-7 метров. Немного отъехал от машины вбок или притормозил и потерял полтонны силоса за 10 секунд. В среднем до 7-10% урожая остается на поле. Потерянный силос никто уже не собирает, потери на ГСМ будут гораздо больше. На видео видно как высыпается силос, если немного сдвинуть хобот.
В бригаде с одним комбайном до 7 машин, заполняется одна машина примерно за 20 минут. За день они могут совершить свыше 10 рейсов до силосной ямы. Все зависит от длины плеча доставки. Если поле рядом с ямой, то плечо короткое и можно совершить больше рейсов для выгрузки, если дальше, рейсов становится меньше и здесь становится очень важным правильное заполнение фургона (силосовоза), чтобы не возил воздух. Привез половину прицепа, считай потерял на топливе, комбайнер должен максимально правильно направлять хобот, чтобы равномерно наполнить силосовоз.
Как уже говорилось выше, для работы на таких комбайнах допускаются только опытные комбайнеры. Почти все эффективные механизаторы обучались при СССР, после чего технологические секреты этой цивилизации были утеряны. Конкретно ослабло обучение, и приходящие «молодые», естественно, работают хуже. Это нормально почти для всех рабочих профессий, но конкретно здесь наш робот как нельзя больше востребован в первую очередь из-за этого эффекта.
Второе, наш робот видит кромку, препятствия на поле, видит другую технику. Работа комбайнера максимально упрощается, теперь он может следить за техническим состоянием комбайна, за калибровкой фракции кукурузы, которая наиболее подходит для данного типа скота.
Также наш робот может полно и равномерно, а главное точно заполнить силосовоз, это уменьшает потери на ГСМ и сводит потери на уборке к нулю.
Нормой считается потеря на уборке 7% урожая, если их свести к нулю, то поскольку силос делается в основном не для продажи, а для корма своего скота, мы можем уменьшить засев под кукурузу на 7% и отдать его под пшеницу, что более выгодно. Скажем если выделено 1000 га на кукурузу, из них 70 га отдать под пшеницу, то даже по минимальным оценкам при урожае в 30 центнер с 1 Га мы соберем 210 тонн, а это примерно 1,5 млн рублей прямой прибыли. При этом за счет более полной сборки уменьшается расход ГСМ за счет сокращения числа поездок от силосной ямы до поля.
Уборка кукурузы ведется с помощью специальных приставок для пропашных культур. Для этого случая предусмотрен режим работы, при котором комбайн пытается удержать жатку посередине междурядья. Получив карту сегментации кадра (сцены) и зная положение жатки, можно найти так называемую vanishing point и рассчитать отклонение зуба жатки от необходимого положения.
В отличие от пшеницы, где мы следим за краем убранного поля и ведем комбайн по кромке, здесь задача нейронной сети увидеть междурядье между растениями. Нейронная сеть прекрасно видит ряды между кукурузой, в отличии от человека, камера находится над культурой, и при этом она не устает.
Изображения приходят к нам в формате видео потока, либо отдельными изображениями. Данные обрабатываются и хранятся в Сognitive Agro Data Factory. Кроме сырых данных с камеры, здесь также присутствуют и целевые размеченные кадры, которые при необходимости можно добавить в обучающий датасет.
Для более точного подбора возможных сцен уборки урожая необходимо правильно скомпоновать обучающий датасет. Кроме реальных изображений, полученных с камеры в процессе уборки культур, используется подход генерации синтетических изображений с помощью процедуры аугментации на основе естественных изображений.
На вход сеть принимает 3-канальное RGB изображение. Далее в процессе обучения нейронной сети к входному тензору применяются яркостные/цветовые искажения в HSV пространстве, локальные искажения каналов в HSL пространстве – процедура добавления искусственных теней, геометрические искажения и добавление шумов. Подбор параметров аугментации – нетривиальная процедура, требующая детального анализа сцен, полученных в реальных условиях.
Обученная сеть способна выдавать сегментационные карты, определяющие междурядное пространство.
Помимо силоса, кормоуборочные комбайны используют также для сбора сенажа, с помощью приставки подборщика. Процесс сбора аналогичный кукурузе, разница только в том, что комбайн идет по валку. Валок может не отличаться по цвету от общей массы и комбайнер часто может ехать вхолостую.
Например, на видео выше видно, что валок практически не отличим от травы и насколько точно надо комбайнеру вести машину по валку и при этом постоянно наблюдать за процессом загрузки сенажа в грузовик. Работа очень напряженная, к концу 12 часовой смены комбайнеры просто валятся с ног, с полной сменой справляются только при опыте от 3-4 сезонов работ.
Если комбайнер неопытный, то работа в холостую это потери на ГСМ. Кормоуборочный комбайн в отличие от зерноуборочного только 10% ГСМ тратит на движение самого комбайна, остальные 90% уходят на прорезку, измельчение, протяжку, швыряние силоса или сенажа. Поэтому очень важно работать с полной загрузкой комбайна.
Нейронная сеть отлично справляется с валком, пример того как сеть видит валки.
Здесь наша система может помочь комбайнеру в ведении комбайна по валку, также наш робот может полно и равномерно, а главное точно заполнить силосовоз, это уменьшает потери на ГСМ и сводит потери на уборке к нулю, комбайнер становится уже оператором комбайна, а всю работу берет на себя автопилот.
Сейчас осваиваем кормовую кукурузу, подсолнечник, сенаж. По окончании сезона, если интересно, расскажем как наши роботы справились с кормоуборочными комбайнами.
P.S. Если вашего агронома нет на Хабре, а ему это интересно, то можно тут найти контакты: promo.cognitivepilot.com и предметно обсудить, для какого комбайна какой конкретно набор техники нужен, сколько примерно стоит, и как это можно быстро посмотреть-испытать.
Начинается уборка кормовых культур и мы активно осваиваем кормоуборочную технику.
Кормоуборочный комбайн – технически более сложная и мощная машина. В связке с ним идут сразу несколько транспортных средств для сбора урожая (трактора с прицепом, грузовики, силосовозы). К работе на такой технике допускаются только опытные механизаторы, у которых за спиной несколько лет работы.
Работа на комбайне во время уборки кормовой кукурузы похожа на езду в машине в густом тумане, только вместо тумана на протяжении всего пути высокая зеленая стена из растений, из которой может выскочить кабан, столб или человек. Перемолов человека (история есть в моей прошлой статье), комбайнеры седеют и больше не могут работать. Кроме этого, в этом «зеленом тумане» надо суметь не врезаться в рядом едущий силосовоз, следить за точностью загрузки силоса с хоботом длиной до 7 метров, из которого вылетает по 50-60 кг силоса в секунду, и равномерно заполнять фургон, чтобы он не гонял полупустым туда сюда.
Фактически один комбайнёр работает за троих, следит за процессом уборки кукурузы (одно рабочее место), ведёт технику (второе рабочее место), загружает силосовоз (третье рабочее место). В итоге что-то страдает. Если плохо вести, можно сломать дорогую технику (минимальная цена кормоуборочного комбайна 16 млн рублей, есть модели и по 50 миллионов), поэтому обычно ухудшается качество уборки и загрузки.
Большую часть работы мы автоматизируем, сейчас расскажу какие сложности мы преодолеваем и что делаем.
Отсутствует видимость
Высота спелой кукурузы в среднем 2-2,5 метра, высота комбайна 2,5 метра, механизатор находится чаще всего на уровне чуть выше стоящего на земле человека и видит перед собой только растения, дальше своего носа он по сути уже не видит и так на протяжении всего рабочего дня, а это 12 часовая смена, немногие могут выдержать такое напряжение на глаза и держать темп сборки, а еще на пути могут выскочить кабанчики или столб!
Существуют комбайны, например KRONE, с телескопической кабиной, которая поднимается на высоту до 3 метров, или Acros RSM-142 высотой 4 метра, но это скорее исключение из правил.
Поэтому работать за таким комбайном могут только опытные комбайнеры, которые проработали уже 3-4 сезона.
Потери во время работы
В отличии от зерноуборочных, кормоуборочный комбайн не может хранить урожай в бункере, а сразу выдает его через выгрузной хобот в едущее рядом транспортное средство. Как я говорил, скорость выброса силоса может достигать 50 кг в секунду, в зависимости от модели комбайна, длина хобота при этом 5-7 метров. Немного отъехал от машины вбок или притормозил и потерял полтонны силоса за 10 секунд. В среднем до 7-10% урожая остается на поле. Потерянный силос никто уже не собирает, потери на ГСМ будут гораздо больше. На видео видно как высыпается силос, если немного сдвинуть хобот.
Равномерное заполнение фургона
В бригаде с одним комбайном до 7 машин, заполняется одна машина примерно за 20 минут. За день они могут совершить свыше 10 рейсов до силосной ямы. Все зависит от длины плеча доставки. Если поле рядом с ямой, то плечо короткое и можно совершить больше рейсов для выгрузки, если дальше, рейсов становится меньше и здесь становится очень важным правильное заполнение фургона (силосовоза), чтобы не возил воздух. Привез половину прицепа, считай потерял на топливе, комбайнер должен максимально правильно направлять хобот, чтобы равномерно наполнить силосовоз.
Что мы можем автоматизировать в кормоуборочных комбайнах?
Как уже говорилось выше, для работы на таких комбайнах допускаются только опытные комбайнеры. Почти все эффективные механизаторы обучались при СССР, после чего технологические секреты этой цивилизации были утеряны. Конкретно ослабло обучение, и приходящие «молодые», естественно, работают хуже. Это нормально почти для всех рабочих профессий, но конкретно здесь наш робот как нельзя больше востребован в первую очередь из-за этого эффекта.
Второе, наш робот видит кромку, препятствия на поле, видит другую технику. Работа комбайнера максимально упрощается, теперь он может следить за техническим состоянием комбайна, за калибровкой фракции кукурузы, которая наиболее подходит для данного типа скота.
Также наш робот может полно и равномерно, а главное точно заполнить силосовоз, это уменьшает потери на ГСМ и сводит потери на уборке к нулю.
Нормой считается потеря на уборке 7% урожая, если их свести к нулю, то поскольку силос делается в основном не для продажи, а для корма своего скота, мы можем уменьшить засев под кукурузу на 7% и отдать его под пшеницу, что более выгодно. Скажем если выделено 1000 га на кукурузу, из них 70 га отдать под пшеницу, то даже по минимальным оценкам при урожае в 30 центнер с 1 Га мы соберем 210 тонн, а это примерно 1,5 млн рублей прямой прибыли. При этом за счет более полной сборки уменьшается расход ГСМ за счет сокращения числа поездок от силосной ямы до поля.
Как мы обучаем нейронные сети для анализа сцен уборки кукурузы
Уборка кукурузы ведется с помощью специальных приставок для пропашных культур. Для этого случая предусмотрен режим работы, при котором комбайн пытается удержать жатку посередине междурядья. Получив карту сегментации кадра (сцены) и зная положение жатки, можно найти так называемую vanishing point и рассчитать отклонение зуба жатки от необходимого положения.
В отличие от пшеницы, где мы следим за краем убранного поля и ведем комбайн по кромке, здесь задача нейронной сети увидеть междурядье между растениями. Нейронная сеть прекрасно видит ряды между кукурузой, в отличии от человека, камера находится над культурой, и при этом она не устает.
Изображения приходят к нам в формате видео потока, либо отдельными изображениями. Данные обрабатываются и хранятся в Сognitive Agro Data Factory. Кроме сырых данных с камеры, здесь также присутствуют и целевые размеченные кадры, которые при необходимости можно добавить в обучающий датасет.
Для более точного подбора возможных сцен уборки урожая необходимо правильно скомпоновать обучающий датасет. Кроме реальных изображений, полученных с камеры в процессе уборки культур, используется подход генерации синтетических изображений с помощью процедуры аугментации на основе естественных изображений.
На вход сеть принимает 3-канальное RGB изображение. Далее в процессе обучения нейронной сети к входному тензору применяются яркостные/цветовые искажения в HSV пространстве, локальные искажения каналов в HSL пространстве – процедура добавления искусственных теней, геометрические искажения и добавление шумов. Подбор параметров аугментации – нетривиальная процедура, требующая детального анализа сцен, полученных в реальных условиях.
Обученная сеть способна выдавать сегментационные карты, определяющие междурядное пространство.
Уборка сенажа
Помимо силоса, кормоуборочные комбайны используют также для сбора сенажа, с помощью приставки подборщика. Процесс сбора аналогичный кукурузе, разница только в том, что комбайн идет по валку. Валок может не отличаться по цвету от общей массы и комбайнер часто может ехать вхолостую.
Например, на видео выше видно, что валок практически не отличим от травы и насколько точно надо комбайнеру вести машину по валку и при этом постоянно наблюдать за процессом загрузки сенажа в грузовик. Работа очень напряженная, к концу 12 часовой смены комбайнеры просто валятся с ног, с полной сменой справляются только при опыте от 3-4 сезонов работ.
Если комбайнер неопытный, то работа в холостую это потери на ГСМ. Кормоуборочный комбайн в отличие от зерноуборочного только 10% ГСМ тратит на движение самого комбайна, остальные 90% уходят на прорезку, измельчение, протяжку, швыряние силоса или сенажа. Поэтому очень важно работать с полной загрузкой комбайна.
Нейронная сеть отлично справляется с валком, пример того как сеть видит валки.
Здесь наша система может помочь комбайнеру в ведении комбайна по валку, также наш робот может полно и равномерно, а главное точно заполнить силосовоз, это уменьшает потери на ГСМ и сводит потери на уборке к нулю, комбайнер становится уже оператором комбайна, а всю работу берет на себя автопилот.
Сейчас осваиваем кормовую кукурузу, подсолнечник, сенаж. По окончании сезона, если интересно, расскажем как наши роботы справились с кормоуборочными комбайнами.
P.S. Если вашего агронома нет на Хабре, а ему это интересно, то можно тут найти контакты: promo.cognitivepilot.com и предметно обсудить, для какого комбайна какой конкретно набор техники нужен, сколько примерно стоит, и как это можно быстро посмотреть-испытать.
tvr
То, что вы делаете — это офигенно, господа.
Снимаю шляпу.
Am0ralist
Они сказку (привет Незнайке) делают былью)
ganqqwerty
почему Незнайке?
tvr
Радиокомбайны же.
martin_wanderer
Потому что «Незнайка в Солнечном городе» — там автоматические комбайны сами поля убирали. Правда не помню по тексту, а на иллюстрациях они на тросе круги вокруг столба наворачивали
Am0ralist
Это вы про
А там ещё «радиокомбайн» был, у которого:maxzawalo
Прям детство вспомнилось )
Разработчикам респект! Слежу за вашими публикациями.
Kopilov
И из первого тома: «Видали чудеса механизации? Вам, малышкам, это и во сне не снилось!» Не зря ведь комбайнёров механизаторами зовут :-)