Инженеры из Hitachi подготовили тысячи аудиозаписей, на которых запечатлена работа промышленного оборудования в боевых условиях. С помощью такой библиотеки машинные алгоритмы смогут выявлять нештатную работу систем и прогнозировать потенциальные поломки.

Рассказываем, что вошло в дата-сет и кто еще трудится над аналогичными проектами.


Фото abi ismail / Unsplash

Зачем это нужно


Врачи используют стетоскопы, чтобы диагностировать некоторые заболевания. Но точность, с которой таким образом можно выявить патологию, составляет 20–40%. Поэтому сегодня на помощь приходят электронные стетоскопы с системами искусственного интеллекта. Например, такой прибор делают специалисты из Северо-западной мемориальной больницы Чикаго. Умные алгоритмы помогают увеличить точность постановки диагноза до 97%.

Аналогичный подход набирает обороты в сфере производства — модели машинного обучения выявляют неисправности индустриальных станков: неестественные шумы в работе трансмиссий, помп, вентиляторов или клапанов. Чтобы повысить точность и качество машинного обучения, в Hitachi подготовили и выложили в открытый доступ набор аудиозаписей промышленных машин. Работа проделана в реальных фабричных условиях.

По утверждениям авторов, это первый в мире дата-сет такого рода. Он получил название MIMII Dataset — Sound Dataset for Malfunctioning Industrial Machine Investigation and Inspection.

Что внутри


Подборка содержит звуки клапанов, помп, вентиляторов и рельсовых направляющих. Все они — от разных производителей. В архиве собрано более 26 тысяч десятисекундных семплов со звуками машин, работающих в нормальных условиях. Также там лежат 6 тыс. аудиофайлов со записями работы неисправных аппаратов и машин, пребывающих в «неидеальном состоянии».

Среди таких условий: повреждение направляющих и отсутствие на них смазки, дисбаланс при вращении лопастей и их заклинивание, утечки масла и скачки напряжения.


Фото Sergei Akulich / Unsplash

Продолжительность аудиосемплов составляет 10 секунд, все они записаны в формате WAV с частотой дискретизации 16 кГц. Запись велась сразу на нескольких производственных фабриках. Использовали восемь микрофонов, собранных в круговой массив и установленных на расстоянии 10–50 см от станков и оборудования (схему можно найти в whitepaper на стр.3).

Набор распространяют по лицензии CC BY-SA 4.0. Архивы лежат на площадке Zenodo, но их общий вес превышает 150 Гбайт. Несколько аудиозаписей можно послушать по ссылке.

Планы авторов


Для каждой модели промышленной машины — так как все они обладают своими акустическими характеристиками — инженеры разработали детекторы аномалий. Тестовые запуски показали, что обученные интеллектуальные системы лучше выявляют сбои в работе вентиляторов и рельсовых направляющих. Но детекторы испытали сложности, анализируя работу клапанов.

Инженеры объяснили это тем, что звук открытия и закрытия клапана непродолжителен и происходит редко. Так, определить неисправности оказывается труднее, чем в случае со статическими и продолжительными звуками других механизмов. Разработкой эффективных алгоритмов для выявления аномалий в работе клапанов, специалисты Hitachi займутся в будущем.

Похожие проекты


В первом подразделе мы отметили, что системы искусственного интеллекта проникают в сферу здравоохранения. Поэтому в этой области также появляется большое количество дата-сетов для обучения алгоритмов, диагностирующих заболевания внутренних органов. Например, инженер из Стэнфордского университета выложил в открытый доступ классификацию аномалий сердцебиения.

Его используют для разработки умных стетоскопов — дата-сет скачали более 7 тыс. раз специалисты из Индии, США, Канады, Франции, Германии и других стран.


Фото Marcelo Leal / Unsplash

Еще пример — из мира автомобилей. Израильская компания 3dsignals разрабатывает интеллектуальную систему диагностики. Благодаря ей автовладельцы смогут получать своевременную информацию о неисправностях. Авторы заявляют, что система способна предсказать временной интервал, в течение которого произойдёт поломка.

Точность такой диагностики, согласно результатам испытаний, составляет 98%. К сожалению, дата-сет, на котором тренировали нейросеть, в 3dsignals не раскрывают. Решение компании также подходит для мониторинга крупных промышленных установок. Например, его уже применяют в корпорации Enel Green Power для оценки состояния энергетических турбин.



Дополнительное чтение из нашего блога:

«Стервозная Бетти»: почему аудиоинтерфейсы говорят женским голосом
«Машинный звук»: синтезаторы на базе нейросетей

Библиотеки со разнообразными звуками природы
Звуки для UI: подборка тематических ресурсов
Где взять аудиосемплы для проектов: подборка из девяти тематических ресурсов
Музыка для ваших проектов: 12 тематических ресурсов с треками Creative Commons
Как визуализировать звук в вебе: подборка тематических материалов и видеолекций


Комментарии (14)


  1. Tantrido
    24.10.2019 21:55
    +1

    Да интересно! Если бы я ещё занимался диагностикой ГТД на нейронных сетях — обязательно попробовал бы. Диагностика, например, по вибропараметрам — нетривиальная штука, а этот подход методологически гораздо более простой, хотя нужно конечно всё правильно организовать и собрать данные.


    1. Garioch
      26.10.2019 14:34

      На вскидку стетоскопу в самой простой интерпретации (приложить ухо к поверхности и послушать звуки), от природы лет так с момента сотворения Земли, и диагностировали всё — от подкопа крепостей до шатунов паровоза, и далее..., то осталась малость: научить ядро воспроизводить — «Бип, Бип»… Хотя лучше — при нормальной работе агрегат воспроизводит колыбельную, при внештатной ситуации — Полонез Огинского.


      1. Tantrido
        26.10.2019 18:49

        :)


  1. Goron_Dekar
    25.10.2019 08:30

    Интересно, а как быть с тем, что между классом «исправное оборудование», и классом «неисправное оборудование» лежит обширнейший класс «надо бы заменить, но пока работает». И так в абсолютно любом крупном производстве.


    1. Kapn614
      25.10.2019 14:27

      В статье говорится о классе «Нормально работающие» и находящиеся в «неидеальном состоянии». Как мне кажется, на критичные узлы и уровни жидкостей и так по 10 датчиков висят, а этот метод как раз должен зажигать лампочку «Чек» на те узлы, на которые другие датчики устанавливать сложно/невозможно. Т.е. грубо говоря по таким датасетам можно сделать термометр, который будет показывать 36,6 у нормально работающей машины, и больше 37 у той, что работает с отклонениями. Остальное нужно исследовать другими методами.


      1. Goron_Dekar
        25.10.2019 19:55

        Вопрос мой скорее к датасету. Какой процент из того оборудования, которое промаркировано как работающее, относится к той короткой области жизненного цикла, когда с одной стороны механизм уже притёрся после сборки и смазка разогрелась, а с другой стороны дефектов ещё не появилось


    1. Kisennger
      26.10.2019 14:34

      можно отмечать на технологической карте как требующее внимание с последующим переводом в класс угроз


  1. andersong
    25.10.2019 09:47

    Нужна поправка на то, что иногда исправное отечественное оборудование звучит хуже неисправного импортного)))


  1. DrBulkin
    25.10.2019 11:09

    Интересно, а что с ложноположительными срабатываниями?


  1. vagon333
    25.10.2019 17:03

    Кстати, в автомобильных ДВС есть датчик стука. Хорошо бы расширить датчиком шума.
    Для диагностики сам использую стетоскоп и пытался использовать электронный стетоскоп. Задача сложнее домашнего проекта.


    1. VelocidadAbsurda
      26.10.2019 14:34

      Датчик детонации (knock sensor) обнаруживает состояние с очень характерным звуком, хорошо выделяющимся на фоне остальных звуков мотора — гораздо более простая задача (выделение нескольких частот из спектра), никаких нейросетей.


  1. microspace
    26.10.2019 14:34
    +1

    Ожидаю бум альбомов с музыкой в стиле Industrial Ambient.


    1. corvair
      28.10.2019 17:39

      Типа оркестра шаговых двигателей и/или устройств их содержащих — дисководов, принтеров-сканеров.


  1. toivo61
    28.10.2019 12:52

    В 80-х видел отечественную пластинку с записями шумов сердца. Использовалась как дидактический материал во всяких медицинских вузах.