Рассказываем, что вошло в дата-сет и кто еще трудится над аналогичными проектами.
Фото abi ismail / Unsplash
Зачем это нужно
Врачи используют стетоскопы, чтобы диагностировать некоторые заболевания. Но точность, с которой таким образом можно выявить патологию, составляет 20–40%. Поэтому сегодня на помощь приходят электронные стетоскопы с системами искусственного интеллекта. Например, такой прибор делают специалисты из Северо-западной мемориальной больницы Чикаго. Умные алгоритмы помогают увеличить точность постановки диагноза до 97%.
Аналогичный подход набирает обороты в сфере производства — модели машинного обучения выявляют неисправности индустриальных станков: неестественные шумы в работе трансмиссий, помп, вентиляторов или клапанов. Чтобы повысить точность и качество машинного обучения, в Hitachi подготовили и выложили в открытый доступ набор аудиозаписей промышленных машин. Работа проделана в реальных фабричных условиях.
По утверждениям авторов, это первый в мире дата-сет такого рода. Он получил название MIMII Dataset — Sound Dataset for Malfunctioning Industrial Machine Investigation and Inspection.
Что внутри
Подборка содержит звуки клапанов, помп, вентиляторов и рельсовых направляющих. Все они — от разных производителей. В архиве собрано более 26 тысяч десятисекундных семплов со звуками машин, работающих в нормальных условиях. Также там лежат 6 тыс. аудиофайлов со записями работы неисправных аппаратов и машин, пребывающих в «неидеальном состоянии».
Среди таких условий: повреждение направляющих и отсутствие на них смазки, дисбаланс при вращении лопастей и их заклинивание, утечки масла и скачки напряжения.
Фото Sergei Akulich / Unsplash
Продолжительность аудиосемплов составляет 10 секунд, все они записаны в формате WAV с частотой дискретизации 16 кГц. Запись велась сразу на нескольких производственных фабриках. Использовали восемь микрофонов, собранных в круговой массив и установленных на расстоянии 10–50 см от станков и оборудования (схему можно найти в whitepaper на стр.3).
Набор распространяют по лицензии CC BY-SA 4.0. Архивы лежат на площадке Zenodo, но их общий вес превышает 150 Гбайт. Несколько аудиозаписей можно послушать по ссылке.
Планы авторов
Для каждой модели промышленной машины — так как все они обладают своими акустическими характеристиками — инженеры разработали детекторы аномалий. Тестовые запуски показали, что обученные интеллектуальные системы лучше выявляют сбои в работе вентиляторов и рельсовых направляющих. Но детекторы испытали сложности, анализируя работу клапанов.
Инженеры объяснили это тем, что звук открытия и закрытия клапана непродолжителен и происходит редко. Так, определить неисправности оказывается труднее, чем в случае со статическими и продолжительными звуками других механизмов. Разработкой эффективных алгоритмов для выявления аномалий в работе клапанов, специалисты Hitachi займутся в будущем.
Похожие проекты
В первом подразделе мы отметили, что системы искусственного интеллекта проникают в сферу здравоохранения. Поэтому в этой области также появляется большое количество дата-сетов для обучения алгоритмов, диагностирующих заболевания внутренних органов. Например, инженер из Стэнфордского университета выложил в открытый доступ классификацию аномалий сердцебиения.
Его используют для разработки умных стетоскопов — дата-сет скачали более 7 тыс. раз специалисты из Индии, США, Канады, Франции, Германии и других стран.
Фото Marcelo Leal / Unsplash
Еще пример — из мира автомобилей. Израильская компания 3dsignals разрабатывает интеллектуальную систему диагностики. Благодаря ей автовладельцы смогут получать своевременную информацию о неисправностях. Авторы заявляют, что система способна предсказать временной интервал, в течение которого произойдёт поломка.
Точность такой диагностики, согласно результатам испытаний, составляет 98%. К сожалению, дата-сет, на котором тренировали нейросеть, в 3dsignals не раскрывают. Решение компании также подходит для мониторинга крупных промышленных установок. Например, его уже применяют в корпорации Enel Green Power для оценки состояния энергетических турбин.
Дополнительное чтение из нашего блога:
«Стервозная Бетти»: почему аудиоинтерфейсы говорят женским голосом
«Машинный звук»: синтезаторы на базе нейросетей
Библиотеки со разнообразными звуками природы
Звуки для UI: подборка тематических ресурсов
Где взять аудиосемплы для проектов: подборка из девяти тематических ресурсов
Музыка для ваших проектов: 12 тематических ресурсов с треками Creative Commons
Как визуализировать звук в вебе: подборка тематических материалов и видеолекций
Комментарии (14)
Goron_Dekar
25.10.2019 08:30Интересно, а как быть с тем, что между классом «исправное оборудование», и классом «неисправное оборудование» лежит обширнейший класс «надо бы заменить, но пока работает». И так в абсолютно любом крупном производстве.
Kapn614
25.10.2019 14:27В статье говорится о классе «Нормально работающие» и находящиеся в «неидеальном состоянии». Как мне кажется, на критичные узлы и уровни жидкостей и так по 10 датчиков висят, а этот метод как раз должен зажигать лампочку «Чек» на те узлы, на которые другие датчики устанавливать сложно/невозможно. Т.е. грубо говоря по таким датасетам можно сделать термометр, который будет показывать 36,6 у нормально работающей машины, и больше 37 у той, что работает с отклонениями. Остальное нужно исследовать другими методами.
Goron_Dekar
25.10.2019 19:55Вопрос мой скорее к датасету. Какой процент из того оборудования, которое промаркировано как работающее, относится к той короткой области жизненного цикла, когда с одной стороны механизм уже притёрся после сборки и смазка разогрелась, а с другой стороны дефектов ещё не появилось
Kisennger
26.10.2019 14:34можно отмечать на технологической карте как требующее внимание с последующим переводом в класс угроз
andersong
25.10.2019 09:47Нужна поправка на то, что иногда исправное отечественное оборудование звучит хуже неисправного импортного)))
vagon333
25.10.2019 17:03Кстати, в автомобильных ДВС есть датчик стука. Хорошо бы расширить датчиком шума.
Для диагностики сам использую стетоскоп и пытался использовать электронный стетоскоп. Задача сложнее домашнего проекта.VelocidadAbsurda
26.10.2019 14:34Датчик детонации (knock sensor) обнаруживает состояние с очень характерным звуком, хорошо выделяющимся на фоне остальных звуков мотора — гораздо более простая задача (выделение нескольких частот из спектра), никаких нейросетей.
microspace
26.10.2019 14:34+1Ожидаю бум альбомов с музыкой в стиле Industrial Ambient.
corvair
28.10.2019 17:39Типа оркестра шаговых двигателей и/или устройств их содержащих — дисководов, принтеров-сканеров.
toivo61
28.10.2019 12:52В 80-х видел отечественную пластинку с записями шумов сердца. Использовалась как дидактический материал во всяких медицинских вузах.
Tantrido
Да интересно! Если бы я ещё занимался диагностикой ГТД на нейронных сетях — обязательно попробовал бы. Диагностика, например, по вибропараметрам — нетривиальная штука, а этот подход методологически гораздо более простой, хотя нужно конечно всё правильно организовать и собрать данные.
Garioch
На вскидку стетоскопу в самой простой интерпретации (приложить ухо к поверхности и послушать звуки), от природы лет так с момента сотворения Земли, и диагностировали всё — от подкопа крепостей до шатунов паровоза, и далее..., то осталась малость: научить ядро воспроизводить — «Бип, Бип»… Хотя лучше — при нормальной работе агрегат воспроизводит колыбельную, при внештатной ситуации — Полонез Огинского.
Tantrido
:)