Привет, Хабр! Мы - команда NIKTA.AI, и на конференции ЦИПР2025 мы решили не просто участвовать, а задать жару с нашим роботом-крабом, управляемым через Visual Language Model (VLM). Пока другие команды щелкали пультами, наш краб самостоятельно принимал решения, осматривал стенд и искал объекты. Как мы это сделали за полтора месяца? Рассказываем!

Перед нами стояла задача: выделиться и удивить

Нашей целью было создать робота, который не просто выполняет команды, а сам думает и действует в реальном времени. Пульты - это прошлый век, и мы хотели показать, что AI способен управлять роботом автономно. Времени было мало - всего полтора месяца, поэтому мы выбрали готовую платформу робота с поддержкой ROS (Robot Operating System), чтобы не писать низкоуровневое управление с нуля.

Что было в коробке?

Когда робот-краб приехал, мы столкнулись с классикой: китайская документация и другие китайские сюрпризы... Разбирались, как работают сервоприводы, датчики и встроенные системы навигации. ROS отвечал за среднеуровневое управление: движение вперед-назад, влево-вправо, получение изображений с камеры и базовую навигацию. Наша задача - добавить высокоуровневое управление через VLM, чтобы робот мог:

Обрабатывать изображения с камеры.

Принимать решения на основе увиденного.

Выполнять команды, не прописанные заранее.

Как работает наш AI-краб?

Мы интегрировали VLM (Visual Language Model), которая анализирует изображение с камеры и решает, что делать дальше. Например:

Движение: робот выполняет простые команды (вперед, назад, поворот) с заданной величиной. VLM разбивает сложные задачи на подзадачи и отправляет команды по очереди.

Поиск объектов: краб осматривает стенд, передает изображение в VLM, а та определяет, есть ли нужный объект, и описывает его.

Звучит круто, но были и подводные камни...

Проблемы и как мы их решали

Задержка обработки изображений. Изначально мы запускали VLM локально на компьютере, подключенном к роботу. Результат? Задержка в несколько минут на обработку одного кадра. Для реального времени это провал. Решение: мы ограничили действия робота базовыми командами (вперед-назад, повороты) и добавили второй модем для подключения к облачной VLM. Это сократило задержку - уже можно работать!

Навигация и датчики. Датчики робота были, скажем так, не идеальны. Навигация иногда сбоила, а VLM не могла точно определить положение объекта в пространстве (ей нужны координаты, а не просто "вот там стул"). Изначально мы хотели, чтобы краб сам подходил к объекту, но из-за задержек и ограничений датчиков пришлось упростить задачу до поиска и описания.

Автономность. Мы мечтали, чтобы краб сам шел к цели, центрируя объект в кадре камеры. Но для этого нужна высокая скорость обработки изображений, которой мы не добились на локальном оборудовании. Это задача на будущее.

Что получилось?

На ЦИПР2025 наш робот-краб стал звездой! Пока другие участники жали кнопки на пультах, наш AI самостоятельно осматривал стенд, находил объекты и выполнял команды. Да, он пока не ходит к цели сам, но уже умеет:

• Выполнять простые команды.

• Искать и описывать объекты в реальном времени.

• Работать с облачной VLM, обрабатывая запросы за секунды.

Зрители были в восторге, а мы - в экстазе от того, что успели за полтора месяца! 

Что дальше?

Мы уже планируем доработки:

• Улучшить навигацию, чтобы краб сам подходил к объектам.

• Оптимизировать алгоритмы для работы с локальной VLM (если найдем более мощное железо).

• Добавить больше автономности: пусть краб сам решает, как лучше добраться до цели.

Программирование робота-краба для ЦИПР2025 стало вызовом, который мы приняли и преодолели. Куча кофе и момент, когда ты видишь, как твой код оживает в железе. Мы показали, что AI может быть не просто алгоритмом, а настоящим партнером, который выделяет тебя среди толпы.

Как бы вы подошли к задаче управления роботом через VLM? Пишите в комментариях, обсудим! И если хотите узнать больше про наши проекты, заглядывайте на наш сайт NIKTA.AI / телеграм-канал.