• 71% вердиктов «поломка» объясняются не состоянием моторов и не микрофонами: модель реагирует на тишину и шум в записи.

• Внутри одного уровня громкости iPhone и Tecno «ломают» двигатель одинаково охотно; между тихими и громкими записями разрыв двукратный.

• Треть входного потока это записи, где тишины больше 70%, и именно они собирают самые уверенные вердикты о поломке.

Я делаю сервис «Автоухо»: бесплатный сервис предварительной диагностики двигателя по звуку. Человек записывает 15 секунд работы мотора на телефон, нейросеть называет вероятную зону неисправности и список возможных причин. Публичная бета, за месяц набралось 1066 диагнозов.

В выходные посмотрел на распределение вердиктов и напрягся. За две недели 71% «поломка» и только 14% «норма». Либо приходят исключительно владельцы умирающих моторов, либо модель что-то делает не так. Первая гипотеза была про железо: у дешёвых телефонов хуже микрофоны, модель принимает артефакты записи за стук. Я проверил на всех записях, и гипотеза подтвердилась ровно наполовину, причём вообще не там. Марка телефона почти ни при чём. Модель реагировала на шум и тишину.

Как мерил

Взял все 1066 записей из прода: реальные телефонные загрузки за 9 июля — 9 августа 2026. Каждую декодировал ffmpeg в моно 16 кГц float32 и по кадрам в 512 отсчётов посчитал признаки, без участия какой-либо модели:

• громкость: RMS всей записи в dBFS;

• пик;

• клиппинг: доля отсчётов выше 0.98;

• шумовой пол: 10-й перцентиль покадровых RMS;

• разброс сигнал/шум: 90-й перцентиль минус 10-й, в дБ;

• спектральная плоскость: отношение среднего геометрического к среднему арифметическому спектра мощности, то есть насколько звук похож на шум;

• доля энергии выше 4 кГц;

• доля тишины: кадры тише −50 dBFS;

• длительность.

Затем сравнил признаки между записями, которым модель поставила «поломку», и теми, где она сказала «норма».

AUC. Здесь это вероятность того, что у случайно взятой «поломки» признак выше, чем у случайно взятой «нормы». 0.5 означает, что признак ничего не различает; чем дальше от 0.5 в любую сторону, тем сильнее связь.

Что различает «поломку» и «норму»

Типичная «поломка» на 9 дБ тише типичной «нормы», а тишина в такой записи занимает 43% времени против 1%.

А что с телефонами? Разбил записи на квартили по громкости внутри каждого производителя и посчитал долю «поломки» в каждом. Q1 — самые тихие записи, Q4 — самые громкие:

Внутри квартиля вендоры почти не отличаются: тихая запись с iPhone так же охотно «ломает» двигатель, как и тихая запись с Tecno. Зато между квартилями разрыв двукратный — громкость записи меняет вердикт сильнее, чем марка телефона.

Почему сначала казалось, что дело в марке

Потому что владельцы разных телефонов пишут по-разному. Вот медианы по вендорам:

Выглядит вроде правильно: чем «бюджетнее» вендор, тем больше «поломок». Но при этом медианная запись с Infinix на три четверти состоит из тишины, у Apple тишины нет совсем. Непонятно почему, но факт.

Калибровка: как выглядит «хорошая» запись

Чтобы понять, насколько живой корпус далёк от того, что модель должна слышать, я прогнал те же признаки по двенадцати эталонным записям. У эталонов медианная громкость −17.8 dB, доля тишины 0.00. У живых записей: −30.6 dB, 26% тишины, шумовой пол −54.5 dB. Пользователи пишут на 13 децибел тише эталона и с четвертью пустоты в записи.

У трети записей тишина занимает больше 70% времени. И доля «поломки» растёт вместе с долей тишины: 56% на чистых записях против 81% на пустых.

Объяснение, которое я придумал

Модель построена на эмбеддингах CLAP. В коде классификатора с самого начала была защита от тишины , но только тогда когда тишина занимает 90 и более процентов - ловит нечитаемое или почти беззвучное аудио и отвечает «не уверен». Частичная тишина, а это треть записей, проходит.

Похоже, что человек держит телефон далеко от мотора или пишет в шумном дворе, половина записи состоит из фона и пауз, и модель читает эту пустоту как признак неисправности.

Делаем фильтр по качеству записи :

• тишина больше 85% или громкость тише −45 dB : ловит 29% всех загрузок; внутри них «поломка» в 80% случаев, «норма» только в 7%;

• тишина больше 50% или тише −35 dB добавляет ещё 20% загрузок с «поломкой» в 77%;

• остальные, годные записи — 51% корпуса, там «поломка» 59% и «норма» 19%.

Главный практический вывод. Если строите диагностику на аудиоэмбеддингах общего назначения: прежде чем разбираться, что модель думает о содержании звука, проверьте, что она думает о его отсутствии. В нашем случае треть входного потока состояла из записей, где тишины больше 70%, и именно они собирали самые уверенные вердикты о поломке.