В статье предлагается взглянуть на дополнительные возможности, которые предоставляет квадрокоптер tello dji. Благодаря наличию открытого api и паяльника возможно немного расширить применение аппарата, подружить его с ROS(robot operation system), а также по-новому взглянуть даже на его неисправных собратьев.

Немного общей информации о tello dji.

Волна поклонения величию tello dji потихоньку сошла на нет и это отразилось как на доступной цене данного бюджетного квадрокоптера, так и на том факте, что зачастую его продают с рук с испорченной батареей. О последней позже, а пока поговорим, чем так хорош и, одновременно, плох данный аппарат.

Начнем с плюсов:

• доступно низкая цена (10-12к руб. либо дешевле, если б/у);
• наличие открытого api, к которому можно обращаться без всяких подписок и оговорок;
• высокая маневренность;
• наличие камеры 960х720;
• наличие встроенного imu, который по показателям весьма не плох;
• в некоторых моделях (tello edu) при особой прошивке допускается даже использование камеры снизу (т.е. второй камеры, которая по умолчанию не используется);
• неприхотливость, быстрый запуск, малый вес, защита винтов.

Теперь о минусах:

• несмотря на достаточно высокое время отклика по api — wifi сеть все-таки подводит даже на небольшом расстоянии, поэтому серьезно полагаться на нее не стоит;
• малое время работы от аккумулятора во время полета — 15 мин. Как это победить, будет показано далее;
• разрешение камеры не изменить с помощью api, как не изменить частоту работы imu. Разрешение камеры скорее подойдет для outdoor применения, чем для помещений, так как в кадр помещается не слишком много объектов;
• перегревается. Причем, что самое интересное, перегревается даже в полете, при наличии вроде бы обдува со стороны винтов. Один из вариантов решения, также будет показан далее;
• плохо переносит падения с большой высоты. Понятное дело, что их мало кто хорошо переносит. Но tello dji может получить несопоставимые с жизнью повреждения, просто упав на асфальт с высоты 3-5 метров;
• нет gps, возврата в точку взлета и других прелестей старших собратьев;
• не переживет сильный ветер.

В итоге, аппарат очень спорный. Но это не маркетинговый пост, нам от tello dji нужен совсем другой функционал. Какой именно? Об этом далее.

О задаче.

Изучая алгоритмы визуальной навигации ORB_SLAM рано или поздно возникает вопрос о легком, носимом и мощном железе, которое может помочь в этом направлении. А также возникает вопрос, где взять хорошую недорогую камеру в связке с хорошим imu (инерциальный измерительный блок).

Как известно в алгоритмах ORB_SLAM для увеличения точности позиционирования в пространстве кроме собственно камеры, желательно иметь еще одну камеру для стерео, а лучше камеру глубины либо imu.

И тут как нельзя кстати приходится tello, в котором есть и камера и imu.

Осталось только внедрить это tello, так сказать, в дело.

Подготовка к интеграции.

Все бы ничего, если бы не малый срок полета tello и перегрев с последующим отключением.

Разумеется, первый вопрос можно решить наличием дополнительных батарей.

Однако, работать в интервальном режиме по 15 мин быстро надоест. Да и сколько батарей понадобится?

Кстати, о батарее.

Не редки случаи, когда батареи, в силу длительного пребывания в бездействии и переразряда стандартным блоком питания tello не заряжаются.


Если столкнулись с этой ситуацией, не стоит сразу их выбрасывать и, возможно, батареи еще получится оживить. Для этого посмотрим поближе на батарею:


Воткнув иголки в проушины батареи, подав 3,8 V и небольшой ток можно попробовать позаряжать батарею полчаса, и, если она оживет, поставить ее уже в стандартную батарейную зарядку для tello. Для реанимации подойдет даже такой простой прибор из разряда «сделай сам» с ali —
Поэтому, не спешите выбрасывать батареи от dji tello.

Таким образом, зная, что батарея выдает 3,8-4,2V и тем самым питает tello dji, чтобы его запустить понадобится подпаяться на соответствующие 2 контакта уже на самом квадрокоптере. Летать он не будет, но работать вполне —
Так как для проведения экспериментов с алгоритмами навигации полеты на начальном этапе не важны, все манипуляции с tello будет в режиме, когда его носят на руках.

Любой квадрокоптер мог об этом только мечтать!

Но что делать с перегревом?

Он будет в разы больше, когда винты не будут вращаться.

Тут придет на помощь кулер от старой материнской платы на 12V (или иной). Его необходимо закрепить «под брюхо» tello. Он будет доволен!

Получится приблизительно так —
Теперь, когда вопросы с питанием и перегревом решены, можно переходить к другим интересным вещам.

Выбор ORB_SLAM и ROS.

Почему именно ORB_SLAM? Вопрос риторический. Однако, аргументом «за» будет тот факт, что под алгоритм есть заранее сформированные пакеты нод ROS для tello, которые облегчат процесс работы с учетом особенностей квадрокоптера.

Как и в любом нормальном семействе, в «династии» ORB_SLAM есть свои участники семейства.
Остановимся на ORB_SLAM2 и ORB_SLAM3.

ORB_SLAM2 поддерживает Monocular, Stereo and RGB-D камеры, но не имеет интеграции с imu. Помимо это, сам репозиторий достаточно древний и не обновляется. А жаль, на мой взгляд интеграция с tello показала себя не менее удачно, чем c ORB_SLAM3 — пример.

Кроме того, ORB_SLAM2, поддерживает ROS2, поддержки которого нет в ORB_SLAM3.

В то же время, ORB_SLAM3 дает возможность использовать imu наряду с камерой. Однако, не стоит обольщаться, что все работает «из коробки». Заставить работать связку камера-imu (Mono-Inertial Node) возможно только после хорошей калибровки как самой камеры, так и в тандеме с imu.

Кроме того, установка самого пакета не из простых приключений.

Тем не менее, собрать ORB_SLAM3 и запустить ноды для tello возможно — пример.

Однако, следует еще раз напомнить, что ORB_SLAM3 не поддерживает ROS2, по крайней мере пока.

В части, что касается dji tello, также еще остаются нерешенными вопросы относительно передачи видео, передача которого периодически может обрываться — issue.

Затрагивая ORB_SLAM, стоит также упомянуть, достаточно «молодой» и перспективный stella_vslam

К сожалению, там пока нет интеграции с imu, как и в ORB_SLAM2. Однако, в TODO, обозначен этот пункт, поэтому есть смысл ожидать.

Stella-vslam выгладит многообещающе и чем-то напоминает своих старших собратьев. Кроме того, алгоритм возможно использовать с tello — пример.

Исходя из доступности пакетов и их интеграции с tello dji пожалуй, неплохим выбором будет все же ROS1 (noetic) на базе ubuntu 20.04 (ROS также сами по себе также привередливы к выбору os, на которой они «живут»).

Куда устанавливать Ubuntu, ROS.

Обычно этот вопрос не возникает, если пользователь уже использует linux. Тем не менее, для windows также доступна роскошь nix систем.

Несмотря на то, что в windows 7,10 возможно установить Ubuntu через wsl, пойдем по пути виртуальных машин на базе VMware Workstation.



Это несет некоторое неудобство в дальнейшей коммуникации с tello, зато избавляет от необходимости полного перехода на linux либо использования docker контейнеров.

Как установить ubuntu и ros1 noetic в данной статье рассматривать не будем, в сети полно информации как выполнить эти шаги.

Сосредоточимся с сборке ORB_SLAM3, ros нод для него, которые позволят работать с tello, и, непосредственно, самой ноды для tello.

В настройках виртуальной машины vmware важно указать тип соединения — мост, это в дальнейшем позволит подключаться к tello, используя сетевое соединение хоста под windows.



Процесс сборки ORB_SLAM3 в общих чертах был описан ранее в статье.
Но если коротко, то все выглядит примерно так:


Здесь важно дополнить, что если пользоваться командами установки opencv:

sudo apt-get install ros-noetic-cv-bridge
sudo apt-get install ros-noetic-vision-opencv

то в итоге будет установлена opencv4.2. И если нужна версия поновее, то opencv придется собирать из source и указанные команды не использовать.

И только после сборки opencv, положить в catkin пакет:

to catkin/src
git clone -b noetic https://github.com/ros-perception/vision_opencv.git
cd ..
catkin_make
rosdep update

В сборке ROS нод также поможет данная инcтрукция — issue.

В итоге catkin должен выглядеть примерно так:


*не обращаем внимание на allan_variance_ros и stella_vslam.

Также специально для tello желательно изменить ноду orb_slam3, чтобы дополнительно не перенаправлять траффик с камеры tello в ноду orb_slam3:

cd /home/al/ORB_SLAM3/Examples_old/ROS/ORB_SLAM3/src
nano ros_mono.cc
change to:
ros::Subscriber sub = nodeHandler.subscribe("/tello/image_raw"
nano ros_mono_inertial.cc:
ros::Subscriber sub_imu = n.subscribe("/tello/imu", 
ros::Subscriber sub_img0 = n.subscribe("/tello/image_raw",

Таким образом orb_slam3 будет сразу получать нужные сообщения от tello.

Если есть намерение использовать режим mono_inertial, то mono_inertial.cc также нужно будет изменить.

После изменений не забываем пересобрать ноды ros orb_slam3:

export ROS_PACKAGE_PATH=${ROS_PACKAGE_PATH}:/home/al/ORB_SLAM3/Examples_old/ROS/ORB_SLAM3
cd ~/ORB_SLAM3
./build_ros.sh

Среди многочисленных ошибок, в результате которых orb_slam3 может не собраться могут помочь следующие изменения:

nano /home/al/ORB_SLAM3/include/ImuTypes.h:
	#include <iostream>
/home/al/ORB_SLAM3/include/GeometricTools.h
	#include <iostream>

Нода ROS tello.

На github несколько проектов, посвященных данному вопросу.
Один из вариантов сборки выглядит так:



Чтобы нода вела себя адекватно, необходимо прописать настройки, характерные tello в файл конфига:
nano /home/al/catkin_ws/src/tello_driver/cfg/960x720.yaml


Здесь нашли свое отражение параметры камеры, которые от tello к tello не сильно отличаются и дополнительно калибровать камеру нет необходимости.

Эти же параметры необходимо внести уже для целей orb_slam3:
nano /home/al/ORB_SLAM3/Examples/Monocular/TUM1.yaml


Также необходимо изменить саму ноду tello:

nano /home/al/catkin_ws/src/tello_driver/launch/tello_node.launch

c  <node pkg="image_transport" name="image_compressed" type="republish" args="raw in:=image_raw compressed out:=image_raw" /> 
на
<node pkg="image_transport" name="image_compressed" type="republish" args="h264 in:=image_raw raw out:=image_raw" />

Запускаем!

Если вы используете виртуальную машину, на которой все собирали, то перед запуском придется отключиться от сети ethernet и подключиться через wifi к tello.

Так как виртуальная машина имеет выход в сеть через хост под windows, она «подхватит» wifi соединение и оно будет доступно для подключения к tello.



На самой виртуальной машине необходимо будет переподключиться к сети:



После подключения по wifi к tello, виртуальной машине будет назначен адрес 192.168.10.*:



Далее, на самой виртуальной машине в трех разных терминалах запустим:

1.
bash -c "source /opt/ros/noetic/setup.bash; roscore"
2.
bash -c "source /home/al/catkin_ws/devel/setup.bash;cd /home/al/ORB_SLAM3/Examples_old/ROS/ORB_SLAM3;
./Mono /home/al/ORB_SLAM3/Vocabulary/ORBvoc.txt /home/al/ORB_SLAM3/Examples/Monocular/TUM1.yaml"
3.
bash -c "source /home/al/catkin_ws/devel/setup.bash;roslaunch tello_driver tello_node.launch"

Если все прошло штатно, то увидим привычное окно orb_slam3:



Чтобы события начали развиваться, необходимо немного подвигать tello, и orb_slam начнет «рисовать картинку»:



В завершение в качестве бонуса предлагаются параметры imu tello, которые удалось снять в результате калибровки с помощью пакета allan_variance_ros. В ходе калибровки tello послушно записывал rosbag на протяжении 3 часов непрерывной работы квадрокоптера (интересно, сколько бы штатных батарей понадобилось ?):

tello imu:
#Accelerometer
accelerometer_noise_density: 0.0017503364530909718
accelerometer_random_walk: 0.00001674910799299899

#Gyroscope
gyroscope_noise_density: 0.0008258200194467703
gyroscope_random_walk: 0.000019817464724244252

Данные параметры пригодятся для интеграции в режиме mono-inertial.