Китайцы начали «пылесосить» сначала Китай, а теперь и весь мир, чтобы найти гениальных разработчиков приложений для своих дронов.

В 2014, сразу после того как DJI (китайский Google в области дроностроения) представили пакет средств для разработки (SDK), прошла первая олимпиада по разработке софта для дронов. Победители получили 100 000 юаней (около 900 000 руб). О первых трех местах — под катом.

В 2015 стартовала вторая олимпиада для программистов уже со всего мира. Итоги ее мы узнаем в конце лета.

Есть несколько проектов, которые, используя SDK от DJI, выпустили очень востребованные и коммерчески успешные программы для дронов.

Если вы владелец виноградников, или вам нужно увеличить радиус полета, чтобы нормально перелететь через границу пролив, если вам нужно посчитать людей и оценить размер толпы, управлять целым флотом муталисков дронов, отслеживать аварии на дорогах или нелегально припаркованные автомобили. Для вас уже постарались дрон-программисты.

А может быть вы хотите сделать 3d-скан горы Маттерхорн (4478м)?

Всех желающих написать софт для страж-птицы, добро пожаловать под кат. Иначе это сделают китайцы.


SDK



Дроны нашпигованы всевозможными фичами: видеокамерами, сонарами, GPS, дальномерами, умными батарейками, подвесами, телеметрией, передатчиками и пр.


Поддержка фич под разные модели

SDK поддерживает как IOS, так и Android


Github


Потенциальные ниши для дронов и разработки приложений



Сельское хозяйство и фермерство, контроль инфраструктуры, самостоятельная навигация в условиях отсутствия GPS, наблюдение и картирование, создание кино, наблюдение за дикой природой, спасение и поиск.

Первая олимпиада 2014


Было заявлено 100 команд, 7 вышли в финал.


Были отобраны три победителя из семи финалистов:

Первое место: Команда BetterW из South China University of Technology (SCUT)

Второе место: Команда White из Shanghai Normal University (SNU)

Третье место: Команда FlatCat из Fudan University

Первое место
image
Чемпионы получили 100 000 юаней кэшэм. Им предложили стажировку и будущее трудоустройство в DJI.

BetterW заслужили первое место, разработав приложение, которое может помочь с пробками на дорогах, возникших из-за аварий. Через мессенджер WeChat поступает наводка на вероятное место происшествия и тут же туда отправляется дрон DJI Phantom 2 Vision+, чтобы зафотать обстановку. В будущем подобные приложения пригодятся полиции медикам и спасателям.

Второе место
Команда, занявшая второе место, White of SNU, впечатлила судей тем, что разработала хардварное устройство и «говорящее мобильное приложение», позволяющее пользователю делать аэрофото- и видеосъемку. Теперь пилот может сфокусироваться на управлении полетом и при этом фотать намного проще. Команда провела полевые испытания и максимизировала зону приема и силу сигнала, создав механизм сопровождения летательное устройство.

image

Третье место
В целях обеспечения безопасности на митингах и больших сборищах людей, занявшая третье место команда FlatCat, написала мобильное приложение, которое позволяет дронам фотографировать и по фотографии вычислять количество людей на заданной территории. Данные могут передаваться в центр по наблюдению за потоком людей и отслеживанию перемещения отдельного индивида.

image

Помимо наград за первые три места, была еще номинация Creative App Awards за выдающиеся результаты.

“TIANXING ZHE” — создали мобильное приложение, которое использует акселерометр смартфона, чтобы управлять полетом

“FEIJIZHIMENG” — используя расширитель диапазона Wi-Fi (Wi-Fi range extender), написали программу разделяющую управление на 2 монитора(«пульта»), один для управления полетом, второй для управления камерой.

“XINGKONG ZHE” — представили программу для аэроселфи, которая делает 360 градусный изображения пилота и с функцией отслеживания лиц впридачу.

Team For the Dream (FTD) представили приложение, которое делает полет дрона более безопасным, используя алгоритм уклонения от препятствий.

(Не прошло и полгода, как DJI внедрила эти «наброски» в свои основные продукты)



Вторая олимпиада 2015



Под лозунгом «Изменяя жизни и мир» («Changing Lives & The World»), соревнование открыто для студентов и независимых программистов отовсюду. Участники помогут «показать миру безграничный потенциал технологии маленьких дронов».
Команда должна зарегистрироваться и отправить короткое описание проекта. DJI оценит, какие команды приняты к участию и кому давать технические консультации. Жюри будет состоять из экспертов индустрии беспилотников, техников, опытных предпринимателей, они-то и выберут победителей.

На момент написания статьи, если верить графику, команды отчаянно допиливают свой проект, чтобы в середине августа презентовать его жюри.

Обзор успешных приложений для дронов



Pixiepath


Приложение позволяет управлять целым флотом дронов. Возможная область применения — поисковые работы заблудившихся туристов.
image

Интервью с лидером проекта


Кстати, им нужны бетатестеры

image
Карта, созданная роем «фантиков», одновременно летящих над городом.

Статья в Forbes

Field of View


Компания основанная в 2010 году, предоставляет «софтовые» и «железячные» решения в области картографии для сельского хозяйства
image
Софт — следит за здоровьем растительности


Железо — мультиспектральные и обычные камеры, специально заточенные под сельскохозяйственные нужды

skyward.io


Эти товарищи основательно смотрят в будущее, которое кишит дронами и уже занимаются разработкой трасс и «ПДД» для дронов.
image
skyward.io/software

Доступ в реальном времени к различной информации — погоде, «пробках» и пр. Полная аналогия с авиацией только для дронов.



BrightSky Labs


image
«Инстаграмчик» для фантика. Позволяет запостить в один клик в соцсети фото и видео с дрона, наложив фильтры и музыку.



все фичи
KEY FEATURES
•Choose what to share in seconds – even from really long videos – thanks to automatically spotlighted best parts
•Select from stunning filters researched by Hollywood colorists and suggested for your location
•Add your own watermark or title card using your own art or select one from top designers
•Add your favorite music or your own voice to your video
•Edit and share videos from your Dropbox with seamless importing
•Speed your video up to 500% or slowwww it down to 20%
•Share seamlessly right from the app to Facebook, Instagram, Tumblr, YouTube, WhatsApp, Vine, Path, WeChat, Messages or Mail
•Adjust edits instantly to time constraints of social network where you want to share
•Choose whether to share awesome high-resolution or faster standard-quality video
•Save your edits directly to your iPhone's or iPad's Camera Roll
•Connect your iPhone or iPad to your GoPro’s WiFi & your DJI Phantom 2 Vision's WiFi with helpful step-by-step tips
•Watch live preview of what your camera sees so you can take the video you want
•Start & stop live recording from GoPro & native DJI Phantom 2 Vision camera
•Control DJI Phantom 2 Vision camera in real time
•Change GoPro camera recording settings
•Record in slo-mo mode with convenient shortcut
•Switch inputs from live to library with just a swipe
•Play and edit videos from the microSD card of your GoPro or DJI Phantom 2 Vision
•Browse and delete files on your GoPro’s microSD card
•Browse files on your DJI Phantom 2 Vision’s microSD card
•Invite friends to grab videos from your GoPro to share their own favorite parts
•Enjoy the same easy & powerful features for your iPhone or iPad
•Edit timelapse and slo-mo videos shot with your iPhone or iPad
•Looks epic on iPhone 6 and iPhone 6 Plus — also great on iPhone 5s, 5c, 5, 4s & iPad
•Works great with all GoPro HERO 4, 3+, and 3 cameras
•Works great with the native cameras of the DJI Phantom 2 Vision and Vision Plus



Автопилот для Фантома


image
Дрон+смартфон=автопилот и много режимов полета, включая «следуй за мной».



Незаконная парковка


image

2 июня DJI и Intel объединили усилия и создали «городское решение» для контроля за парковками.

С Intel`овскими процессорами, дроны могут определять позицию и ориентацию автомобилей и понимать насколько легально они припаркованы.



DroneDeploy


image

Проект для владельцев виноградников. Можно создавать карты в 1 клик. Картирование в автоматическом режиме.


Создание карт для добывающей промышленности

Покликать можно тут

Создание карт для строительства с разрешением 2см/пиксель
"
Демо

Сельское хозяйство — дроны помогут найти то, что незаметно невооруженным глазом — вредителей, сорняки, заболевания на ранней стадии.
image

Pix4D


image
Сервис для создания 3d-моделей на основе фотографий, сделанных дронами.
Видеоканал с записями обучающих вебинаров и отчетов по проектам

Механизм создания 3d-моделей
Информация о каждой фотографии записывается в EXIF-файл: с какой высоты она была снята, на какой угол повёрнута камера, какие данные долготы и широты. Программа использует технологии машинного зрения и фотограмметрии для нахождения общих точек на многих фотографиях. Учитывая гео-данные и угол поворота камеры, каждому пикселю ищется цветовое соответствие на других фотографиях.

image

Соответствие фотографий

Каждое соответствие становится ключевой точкой. Если ключевая точка найдена на трёх фотографиях и более, программа строит эту точку в пространстве. Чем больше ключевых точек, тем легче определить координаты точки в пространстве. Отсюда следует главное правило — поддерживать большое пересечение между фотографиями. Разработчики программы рекомендует пересечение от 60 до 80%.

Пространственные координаты каждой точки вычисляются методом триангуляции: от каждой точки съёмки к выбранной точке автоматически проводится линия зрения (line of sight или ray), и их пересечение даёт искомое значение.

image
Алгоритмы, применяемые в фотограмметрии, имеют целью минимизировать сумму квадратов множества ошибок, решаемую обычно с помощью алгоритма Левенберга-Марквардта (или метода связок), основанного на решении нелинейных уравнений методом наименьших квадратов.

Совокупность всех 3d-точек называется облаком точек. В процессе обработки фотографий создаётся расширенное облако точек, которое используется для генерирования поверхности, составленной из треугольников (полигонов, мешей). Последний шаг — вычислить разрешение (размер пикселя) и какие пиксели на фотографии соответствуют какому мешу. Для этого 3d-модель развёртывается в 2d-плоскость и затем 3d-положение точки ставится в соответствие оригинальной фотографии для задания цвета.

Как превратить ваш дрон в измерительный прибор




Рио
image
За 19 десятиминутных вылетов было отснято 3584 фотографии, из которых 2090 были использованы для создании модели. Из-за сильного ветра, капризных погодных условий, непостоянного света и ограниченных часов для посещения, съёмочный процесс занял приблизительно 8 часов, растянутых на 7 дней. Разные частей модели были вручную объединены с помощью 82 контрольных точек и нескольких замеров длины для верного масштаба. Финальная версия содержит 2.5 миллиона мешей и 134.4 миллиона точек в разрешении 16384х16384 пикселей.


3д-модель можно повертеть тут.

Посмотреть видео, как создавался проект


Река и наводнение

за час съёмок и 14 часов обработки смогла получить 3d модель затопленной территории общей площадью 360 Га и протяжённостью 15 км. Точность модели составила 4.12 cм/пиксель, объединены 1992 фотографии. У проекта было две цели: установить максимальный уровень повышения воды в реке во время потопа и отслеживать динамику в долгосрочном периоде, а также выявить участки с упавшими деревьями и найти те, что повлияли на береговую проходимость или образовали запруды.

Гора

За 11 вылетов на планере, составивших в сумме 5ч 40 минут полётного времени, команда pix4d сделала 2188 фотографий чтобы создать из них 3d модель самой известной горы в Швейцарии. Общая площадь покрытия составила 28 кв. км, длина пути 263.6 км, а максимальная высота — 4707 м. Модель содержит 300 млн. точек с разрешением 20 см/пиксел.



Замок

Целью проекта было создать очень точную модель Шильонского замка в Швейцарии — сложного архитектурного сооружения, включающего в себя внутренний двор и 18 комнат. Для получения фотографий внешних и внутренних частей замка были использованы Phantom 2 Vision, GoPro Hero 3+, Canon 6D и Sony alpha 7r.


За полдня команда проекта сделала 6200 фотографий. Для точной реконструкции фасадов были использованы несколько типов съёмок: вертикально вниз, съёмка с наклоном камеры и наземные фотографии — а затем 19 отдельных сетов фотографий были обработаны в программе pix4d, объединены и преобразованы в карту высот, состоящую из 95 миллионов точек с результирующим разрешением от 5 мм до 20 см.

3д-модель можно повертеть тут.

Отчет о проекте (PDF)

Видеоотчет о проекте


Для (московских) разработчиков


Разработчики уже нужны в огромных количествах. Тем, кто решил заняться программированием хеннелор дронов, могу посоветовать обратиться в компанию-мастерскую CopterTime.ru (писать на почту dir(coбaka)coptertime.ru). У них, кстати, большой опыт в дроновождении и они могут подкинуть много идей, что сейчас очень актуально для реализации.
Если не терпится протестировать свой софт для дронов, CopterTime готов предоставить для теста (на территории мастерской по предварительной договоренности) супернавороченную платформу DJI Matrice 100 и вот эти модели (таблица со списками фич, которые поддерживаются в SDK):


Phantom 2 Vision+

Inspire 1

Phantom 3 Professional

Phantom 3 Advanced

480p 720p 720p 720p

1080P
30 fps
14 MP Photos
4K, 30 fps
12 MP Photos
Exposure Modes: Programmed Exposure, Spot Metering, Shutter Priority, Manual Exposure
4K, 30 fps
12 MP Photos
Exposure Modes: Programmed Exposure, Spot Metering, Shutter Priority, Manual Exposure
1080P, 60 fps
12 MP Photos
Exposure Modes: Programmed Exposure, Spot Metering, Shutter Priority, Manual Exposure


v Landing gear control v v

v Full 360? gimbal control
Yaw-axis can automatically be returned to the center position
v v

v v v v

Gather information from the range extender and datalink
Transmission Distance:
FCC: 800m
CE: 400m
-- -- --

-- Supports channel selection and live stream settings
Transmission Distance: 2000m
Supports channel selection and live stream settings
Transmission Distance: 2000m
Supports channel selection and live stream settings
Transmission Distance: 2000m

-- Master/Slave Mode
Embedded GPS
v v

Waypoint
Joystick Attitude Control
Point of Interest, Follow Me, Waypoint, IOC Point of Interest, Follow Me, Waypoint, IOC Point of Interest, Follow Me, Waypoint, IOC

Комментарии (12)


  1. kacang
    13.08.2015 19:33
    +2

    А вот идейка: GSM модем для коптера, чтобы можно было без телефона на него команды посылать.


    1. MagisterLudi
      13.08.2015 19:35
      +1

      Крутая идея, кто-то из американцев пытался реализовать. Чтоб и видео в инет лить и в прямом эфире управлять хоть на другом конце планеты.


      1. kacang
        13.08.2015 19:54

        А можно как нибудь получить один из этих коптеров от DJI для разработки? Или полностью в виртуальной среде написать?


      1. kacang
        13.08.2015 19:58
        +4

        Эх, посмотрел конкурс — можно было фантом под эксперименты получить. Но регаться надо было в Марте.


      1. MagisterLudi
        19.08.2015 11:24

        Вот мне прислали ссылку
        Самолёт, HD FPV, линк 600 км по 4G


    1. vagran
      13.08.2015 23:02

      Да собственно полно таких. Помимо энтузиастов, какая-то контора предлагала и готовое решение — дрон с линком и облачный софт, через который всё это хозяйство управляется.


  1. potan
    13.08.2015 21:36
    -1

    А приложение, сбрасывающее лом на черные автомобили с мигалками уже есть?



  1. vagran
    13.08.2015 23:14

    Аналог pix4d — питерский agisoft. Вообще это очень перспективное направление, тот, кто научится делать это в реальном времени (или хотя бы на несколько порядков быстрее), или получше обрабатывать результат, может заработать миллиарды. Всё-таки пока такой софт не очень удобен в использовании — обработка относительно небольшого количества фотографий требует очень больших вычислительных ресурсов, что в pix4d, что в агисофте, результат не всегда удовлетворительный. Обработка, к прмеру, сотен километров ЛЭП — пока недостижимый уровень. На выходе получится облако точек, а возможностей для их автоматической классификации очень мало, в основном всё в ручную.


  1. Mixim333
    14.08.2015 17:36

    Читаю такие статьи и понимаю, что все таки романтики еще существуют — создать свой собственный дрон для съемок и выполнения прочих операций… Сам хочу в конце года, после завершения работы над свои проектом (https://bitbucket.org/Mixim/watcheroffilminfo), создать аналогичную железку — отлить корпус из PCL, в качестве «мозгов» использовать Arduino. Не знаю, что из этого выйдет, но очень надеюсь, что у меня все получится.


  1. father_gorry
    17.08.2015 17:53
    +1

    Объясните, может я что-то не понимаю. Компания-гигант на этом мероприятии скупает разработчиков, идеи, патенты, проекты, и что дальше? Да, небольшая их часть продолжит развитие, но скорее всего не с авторами, ибо переход под начальство для инди-девелопера — это стресс и высокий шанс поругаться и всё бросить. Но главное, большая-то часть проектов уничтожается — компания не будет фокусироваться на всех, она выберет только те, которые понравятся ее руководству, а не те, которые может принять рынок.

    То есть, получается, такие мероприятия делаются для того чтобы удалить независимых идеологов и уничтожить их разработки? Для чего? Чтобы другим компаниям меньше досталось? Логично получается…


    1. ChernovDmitry
      19.08.2015 10:39

      успех платформы в наше время больше всего зависит от количества приложений, для того все эти конкурсы и проводятся