Управление маломерным судном, будь это ПВХ-лодка или каютный катер, отличается от вождения автомобиля. Дорог нет, и к местоположению маломерного судна на открытой воде можно отнестись вольготнее. Двигаясь по водным просторам, судоводитель позволяет себе отвлечься на картплоттер или местные красоты — ведь даже при движении с высокой скоростью окружающая картина вокруг меняется относительно медленно.

Но не все так радужно. Даже легкой ПВХ-лодке нужна какая-никакая глубина, чтобы винт мотора приводил ее в движение. И в этом приповерхностном слое может встретиться все что угодно — притопленные бревна, отмели и даже люди, которым захотелось поплавать вне привычных мест купания. Усугубляет проблему ветер и даже легкая волна, делающие подобные объекты на воде трудноразличимыми.

В этой статье хотим рассказать про BoatVision — систему технического зрения, которая используется для постоянного наблюдения, обнаружения и распознавания малоразмерных объектов на воде. Причем делает она это на расстоянии, достаточном для реагирования и реализации маневра. BoatVision — участник Архипелага 2025, выпускник акселератора Платформы НТИ, участник сообщества технологических предпринимателей «ТехноПорт». О том, как устроен «ИИ на катере» рассказал научный руководитель проекта Алексей Рыбаков.

Почему тут не поможет эхолот или лидар

В оценке окружающего пространства на маломерном судне помогают картплоттеры, лидары и эхолоты. Но ни те, ни другие, ни третьи не помогут распознать человека или плавающее у поверхности бревно.

Картплоттер показывает местоположение судна на карте глубин. На современных картах действительно хорошо отрисованы многие препятствия. Однако последние изменения (обрушившиеся в воду скалы, затонувшие суда, строительный мусор) появляются в картах с заметным опозданием. И это при условии, что подробная карта данного региона в принципе существует.

Классические эхолоты предназначены для наблюдения за дном или рыбой, и они не способны заглянуть далеко вперед. Существуют впередсмотрящие эхолоты. Однако их луч направлен немного вниз — все-таки они рассчитаны на поиск мелей в нескольких десятках метров впереди (обычно 40–80 м). Приповерхностный слой выпадает из их поля зрения, либо идентификация объектов в нем сильно затруднена. 

Кроме того, при крейсерских 55 км/ч судно за секунду проходит 15 м пути. В этом случае для принятия решения и осуществления маневра нужно как минимум 150–300 м запаса.

А вот лидары работают по поверхности, но нацелены на объекты много большего масштаба, например другое судно. Бревно или человека в воде он не заметит и не идентифицирует.

Опытные судоводители замечают препятствия в приповерхностном слое по аномальному волнообразованию вокруг. Так что команда BoatVision начала решать задачу с помощью обычной камеры и ИИ, обученного распознавать особенности поверхности воды.

Есть ли аналоги?

Идея обеспечить безопасность судовождения с помощью ИИ лежит на поверхности. Уже существуют системы, которые используют модели машинного обучения для анализа изображений с камер вокруг и быстрого реагирования на проблемы.

В 2021 году появилась Orca AI. Система использует техническое зрение и тепловизоры для предотвращения столкновения крупных судов с окружающими объектами, в т. ч. другими судами — своего рода система поддержки наблюдения вахтенным. Первые тесты прошли на судах японской компании Nippon Yusen Kabushiki Kaisha, NYK.

В 2022 году компания создала полностью автономное судно весом почти 800 тонн. В тестовом заплыве на 800 км ИИ-система предотвратила 107 столкновений (столько было выполнено маневров уклонения). Правда, обеспечивали все это 18 камер на борту корабля. «Рыночный» продукт Orca AI построен на наборе камер высокого разрешения, в том числе тепловизионных. Причем размещать их на борту надо на высоте от 6 метров.

В том же 2021 году BSB Marine в партнерстве с BSB Artificial Intelligence предложила Oscar — систему автоматического сопровождения. Для работы система использует две ИК-камеры, одну обычную RGB-камеру и гироскоп. Она тоже ориентирована на крупные суда — Oscar обнаруживает объекты, возвышающиеся над водой более чем на метр, на расстоянии до 150 м.

Обе системы активно устанавливают на суда, но они ни по стоимости, ни по габаритам не подходят маломерам во внутренних водах. Их целевая аудитория — крупные корабли и открытое море. Топляк и ветки по ходу движения, людей вдалеке от берега подобные системы зафиксировать не могут. Маломерному судну остается надеяться на картплоттер, обычный эхолот и максимальную внимательность человека за штурвалом или мотором.

Как устроена система BoatVision

Задача системы BoatVision — заметить объект на удалении до 300 м, распознать его и подать судоводителю сигнал, что это: упавший за борт человек, бревно, водоросли, птица, берег или другое судно.

Фактически это система поддержки принятия решений, ведь в зависимости от характера препятствия действия судоводителя будут разными. Птицу можно игнорировать — улетит. Бревно или камень следует обогнуть. А если за бортом человек, то нужно подойти к нему на малой скорости и уточнить, все ли в порядке. Поэтому, классифицируя объекты за бортом, система сводит все к трем типам предупреждений:

• зеленые — можно не беспокоиться;

• желтые — требуется внимание;

• красные — нужно срочно отреагировать.

Предупреждения вместе с изображением с камер выводятся на экран, установленный в лодке. В серийных моделях планируют устанавливать 10-дюймовые экраны, но размеры можно корректировать в зависимости от пожеланий судоводителя. Можно использовать и обычные индикаторы — красный, желтый и зеленый, дополняя их звуковым сигналом.

Устройство предполагается выпускать в трех версиях:

• Базовая определяет наличие объектов на расстояниях до 300 м, а идентифицирует примерно на 150 м. Также будет предлагать траекторию для уклонения.

• Версия Про за счет более качественных камер определяет объекты на расстоянии до 300 м и сообщает точное расстояние до них. Вдобавок позволит перемещаться в сумерках и ночью.

• Версию Лайт планируется сделать максимально дешевой с одной стандартной камерой, но полноценно выполняющей свою функцию.

В общем и целом версии будут отличаться аппаратной начинкой — по сути, набором и качеством камер, а алгоритмы предполагается использовать одни и те же.

Программная составляющая

Для обнаружения и распознавания объектов в BoatVision используют ансамбль нейросетей из библиотеки Ultralytics. В основе распознавания — Yolo11. Также команда экспериментирует с применением трансформеров, в частности для оценки глубины пробовали модель DepthAnything, которая позволяет строить карту по монокамере.

Система обеспечивает распознавание объектов менее чем за секунду: около 15 мс работает детектор, около 10–15 мс — классификатор. 

Ансамбль дообучается в ходе эксплуатации с помощью состязательной сети. Команда также пробует использовать трансформеры DETR. Они более устойчивы к качеству изображения. Но пока на имеющихся вычислительных ресурсах у них уходит 3–4 секунды на распознавание и классификацию. А добавлению вычислительных ресурсов мешает борьба за себестоимость продукта.

Комплект нейросетей обучен на огромном количестве видео- и фотоматериалов, собранных за три года собственными силами участников команды. Сбор этого датасета — одна из основных сложностей проекта. Для этого прототипы устройств и просто камеры разместили на лодках, которые курсируют по водоемам Астраханской, Ярославской, Нижегородской, Владимирской и других областей. Помимо рыбацких судов, данные также собирают с помощью речных трамвайчиков в Санкт-Петербурге.

В общей сложности команда собрала более 500 тыс. разных изображений, которые были размечены частично вручную, а частично с использованием LLM. Если говорить о метриках, то сейчас mAP50 для распознавания судов — на уровне 95%: для людей и топляка — около 99%, для птиц — 93%.

Хотя цифры довольно хорошие, команда продолжает собирать данные в различных условиях судовождения — дождь, туман, с контровым светом и бликами и т. п.

После обнаружения и классификации объекта в работу вступают алгоритмы, основанные на нечеткой логике: система дает рекомендации по уклонению. Эти алгоритмы строили, в буквальном смысле собирая опыт судоводителей, — что именно они делают для предотвращения столкновения с тем или иным предметом.

Способ и система обнаружения предметов на воде для маломерного судна получили патент в 2021 году (2795847 от 13.12.2021 г.).

Автопилот в BoatVision пока не предусмотрен, но в планах — взаимодействие с картплоттером в формате NMEA для просчитывания траекторий обхода препятствия с учетом местоположения судна и данных карты глубин. Предполагается с помощью нейросети строить траекторию обхода на скоростях до 60 км/ч, в том числе в сумерках и в ночное время.

Аппаратная составляющая

В каждой из трех версий BoatVision планируют устанавливать свой набор камер для фиксации окружающей обстановки.

 Самая технически совершенная — версия Про. В нее устанавливают:

• варифокальные управляемые камеры с моторизованным объективом;

• блок стереокамер — габариты Базовой и Про версий определяются как раз используемым блоком;

• камера глубины - Luxonis OAK-D;

• тепловизионная камера — на данный момент используется модель с разрешением всего 240 на 240, которая выполняет скорее вспомогательную функцию. Но в планах использовать тепловизор с большим разрешением, чтобы улучшить работу в сумерках и в темное время суток. В следующей версии также планируется добавить мощный ИК-прожектор;

• система обработки на базе процессоров Intel Core i7.

В версии Про предусмотрен дворник для очистки брызг воды с оптики.

В Базовой версии планируют ставить один монокулярный объектив. Дворник для очистки не предусмотрен, зато корпус представляет собой обратную призму, чтобы капли не задерживались на стекле.

В версии Лайт ограничатся одной монокулярной камерой, а обработкой будет заниматься система на базе Raspberry Pi.

Конкретные модели камер пока не определены. Команды экспериментируют с Arducam HQ — это открытая аппаратная платформа, которую можно использовать в своих проектах, а также камерами других производителей, которые поставляются в Россию официально или производятся у нас.

Изначально камеры размещали на стабилизаторе. Впоследствии тесты показали, что стабилизатор не справляется с тряской от волн, когда судно выходит на глиссирование. В итоге от аппаратной стабилизации отказались в пользу программного устранения шумов.

Сбор данных с камер через интерфейс CSI обеспечивает плата собственной разработки на базе процессора ARM7. Непосредственно на плате идет предобработка данных — объединение потоков, чтобы не было рассинхронизации, выравнивание гистограмм яркости и т. п.

Для сбора дополнительной информации на нее также устанавливают устройство наподобие полетного контроллера, включающее акселерометр, гироскоп, компас и приемник GPS. Информация со всех этих датчиков нужна для определения, в какой позиции находится лодка и с какой скоростью двигается в данный момент.

В будущем команда планирует серийно изготавливать плату в России, возможно, используя полетный контроллер Миландр.

Основные расчеты в устройстве серии Lite обеспечивает Raspberry Pi. В старших версиях применяют мини-ПК на базе Intel Core i7. Через Ethernet (по протоколу TCP) он получает данные с промежуточной платы, распознает объекты и разделяет их по классам. 

Суммарный вес устройств Базовой версии и версии Про будет не более 3 кг. Допустимая высота подвеса — 0,3–4 м (в зависимости от конструкции и оснащения судна).

Стадия проекта

Несколько первых прототипов устройства разных версий и форм (с разным набором электроники) уже собраны и размещены на катерах для обкатки, сбора датасета и дообучения модели.

Идет проработка предсерийного образца — команда работает над тем, чтобы максимально локализовать производство. В сезоне 2026 года планируют кататься с образцом в режиме бета-теста.

Параллельно прорабатывают прототип для безэкипажных судов.

Команда ищет инвесторов для того, чтобы выйти на серийное производство. Скорее всего, первой на рынок попадет версия Лайт с монокамерой.

Что дальше?

В перспективе алгоритмы и железо BoatVision могут стать частью роботизированной системы спасения людей на воде.

К сожалению, несмотря на развитие технологий, сегодня средства спасения остаются на уровне начала прошлого века. Плавающие беспилотники для спасения не применяют по разным причинам — погодные условия, дальность действия и т. п. Упавших за борт людей ищут по старинке, «вручную».

Откатав систему распознавания объектов за бортом, есть планы сделать ее частью безэкипажного судна, которое спускается на воду в автоматическом режиме при падении человека за борт. Но для выпуска такого робота предстоит решить еще множество технических задач, например, как безопасно подойти и погрузить человека на борт (кто хоть раз пытался забраться из воды на борт лодки, понимает, о чем речь). Но все это отдельная история, интересная и технологичная.