Расскажем о проекте, который используют орнитологи-любители и ученые, и библиотеках с записями тысяч песен пернатых — в том числе для коммерческого использования.

Фотография: Ray Hennessy. Источник: Unsplash.com
Фотография: Ray Hennessy. Источник: Unsplash.com

Птичьи спектрограммы

Есть множество исследовательских проектов, посвящённых анализу птичьих голосов. Таким образом ученые стремятся оценить популяцию и качество жизни животных в отдельных регионах. Нередко орнитологи записывают длинные аудиозаписи со звуками природы, а затем занимаются классификацией на слух.

Чтобы автоматизировать этот процесс, специалисты из Лаборатории орнитологии при Корнеллском университете в США разработали нейросеть BirdNET. Она идентифицирует более 3 тыс. птичьих видов по спектрограмме их пения. Система помещает результаты на единую карту, которая помогает орнитологам следить за популяцией животных.

Работу алгоритма можно оценить на официальном сайте проекта — он анализирует живое аудио с микрофона, установленного на природе. В аудиопотоке встречаются голоса красноплечего трупиала, канадской казарки, болотного воробья и других пернатых. Также есть демо, куда можно загрузить собственную аудиозапись для анализа.

Поработать с нейросетью можно не только в браузере. Приложение запускается как на Raspberry Pi, так и домашнем ПК — в частности, под Ubuntu и Windows. Инструкция по настройке для открытой операционной системы приведена в репозитории на GitHub. Что касается Windows, то достаточно скачать и распаковать zip-архив и начать работу as is.

Еще разработчики выпустили мобильное приложение. Оно позволяет записать птичье пение на микрофон, выделить наиболее отчетливый фрагмент и отправить на распознавание. Но поскольку алгоритм восприимчив к посторонним шумам, лучше записывать пернатых рано утром или поздно вечером.

Кто использует разработку

Нейросеть BirdNET уже легла в основу нескольких исследовательских проектов. Например, в рамках инициативы BirdWeather энтузиасты строят карту с местами обитания птиц. По всему миру установлены десятки акустических станций, которые мониторят природные зоны и идентифицируют птичьи голоса.

Другой проект — BirdNET-Pi — позволяет превратить компактный компьютер Raspberry Pi в мобильную орнитологическую станцию. Анализ акустической среды происходит с помощью звуковой карты, подключенной по USB. Аналогичную систему развивают авторы ecoPi:Bird при поддержке Федерального министерства окружающей среды Германии. Это — сеть автономных систем мониторинга птичьих голосов в лесах по стране.

Больше «птичьих» проектов

Один из резидентов Hacker News в тематическом треде отметил, что масштабная система на базе нейросети BirdNET в перспективе позволит визуализировать миграцию пернатых. Однако подобные проекты уже существуют — например, open source система Vesper для мониторинга так называемых nocturnal flight calls (NFC). Это — звуки, которые издают птицы во время ночных полетов, чтобы координировать свои движения.

Проект достаточно молодой и не готов к масштабным внедрениям, но в будущем его смогут использовать как орнитологи-любители, так и ученые-биологи.

Фотография: Mehdi Sepehri. Источник: Unsplash.com
Фотография: Mehdi Sepehri. Источник: Unsplash.com

Другой проект — Terra. Это — специальное устройство, предназначенное для установки на заднем дворе загородного дома. Оно мониторит акустический фон, распознает пение обитающих рядом птиц и фиксирует животных с радиометками. Далее, информация поступает в общую базу данных для дальнейших исследований.

Есть проекты, которые стремятся не визуализировать перемещение птиц, но сохранить их голоса для потомков. О некоторых таких проектах мы рассказывали в одном из наших прошлых материалов. Так, Служба национальных парков США формирует акустическую библиотеку Rocky Mountain Sound Library, в каталоге которой уже более двухсот аудиозаписей птиц и диких животных. К слову, все звуки можно скачивать и свободно использовать в коммерческих целях.

Аналогичный свод данных формируют в Корнеллской лаборатории орнитологии. В их медиатеке сотни тысяч записей звуков, издаваемых птицами, рептилиями и насекомыми. Все они применяются для исследовательских и образовательных задач.


О чем еще мы пишем в нашем «Мире Hi-Fi» и на Хабре:


Комментарии (6)


  1. Akr0n
    23.04.2022 14:01
    +2

    Какие же безграничные возможности для занятия наукой в наше время есть у любознательного студента, было бы желание, эх. Респект таким проектам.


  1. GeMir
    23.04.2022 15:18

    Мне вот Instagram на днях рекламу «умной» кормушки с распознаванием видом птиц предлагал: Bird Buddy.


  1. thegriglat
    24.04.2022 15:24
    +1

    Если не про птиц, а вообще про животных и растений -- есть классный проект iNaturalist, с весны по осень кипит соревновательный дух -- найти бы что-то интересное , а данные потом доступны научному сообществу

    И гулять на свежем воздухе больше начинаешь )

    Рекомендую, в общем


    1. Akr0n
      24.04.2022 18:13

      Великолепный сайт, спасибо!


  1. Zmiy666
    24.04.2022 18:30

    хм... у меня приложение на смартфоне стоит уже пару лет как - BirdNerd называется, вполне неплохо определяет птиц по их пению. Даже сквозь шум улицы. Лично проверил на нескольких поющих птицах, которых я смог опознать в живую и сравнить с тем, что выдала программа.


  1. Protean
    25.04.2022 14:24

    Замечательная идея и не менее замечательная реализация с помощью спектрограмм. В свое время писал диплом на тему распознавания птичьего пения и также столкнулся с проблемой как фоновых звуков так и ложных результатов при шуме города при использовании все тех же спектрограмм. Респект авторам за гигантский труд по сбору данных для модели и ее обучению