Эксперт отдела перспективных исследований компании «Криптонит» Никита Габдуллин предложил методику, которая поможет снизить частоту ошибок ИИ при смене данных за счёт более точного прогнозирования поведения нейросетей.

Нейросети — основа искусственного интеллекта, но они не наделены разумом. С точки зрения математика это лишь сложные математические функции, которые преобразуют входные данные в выходные через последовательность вычислений, организованных в слои.

При таком преобразовании возможны ошибки, которые трудно предугадать, а их последствия могут быть весьма плачевными. Например, неоднократно сообщалось о проблемах с автопилотами Tesla, которые допускали ошибки в распознавании объектов. Они не видели велосипедистов со спины и не замечали пустые грузовые платформы на перекрёстках, а внезапно появившиеся красные круги на придорожных рекламных стендах воспринимали как запрещающие сигналы светофора и включали экстренное торможение. В целом автопилоты склонны неверно интерпретировать условия в нестандартных дорожных ситуациях просто потому, что не сталкивались с ними во время обучения.

Другой показательный пример — история пользователя Reddit, который следовал рекомендациям ИИ от Google и попытался приготовить оливковое масло с чесноком. Казалось бы, ну какие тут могут быть последствия, кроме невкусного блюда? Однако ИИ предложил метод, который привёл к образованию культуры Clostridium botulinum — возбудителя ботулизма, опасного для жизни заболевания. Такие истории предостерегают от слепого доверия к ИИ даже в бытовых задачах.

Ошибки искусственного интеллекта могут напрямую привести к юридически значимым последствиям. Так, в 2024 году адвокаты в США столкнулись с риском использования ИИ для поиска прецедентов, так как модели иногда галлюцинировали и выдумывали несуществующие судебные дела. Адвокаты, сославшиеся на вымышленные ИИ прецеденты, проиграли дела, и как минимум один из них лишился работы.

Корень проблемы

Проявления ошибок ИИ могут быть самым разными, но причины их часто одинаковы и кроются в слабой предсказуемости поведения нейросетей при смене данных. Например, обученные модели могут демонстрировать впечатляющие метрики в лабораторных условиях, но резко снижать качество вывода при переходе к реальным данным.

Эксперт Никита Габдуллин предложил методику более точного прогнозирования стабильности выводов нейросетей и пояснил ряд особенностей такого подхода.

Прогноз поведения нейросетей при смене данных называется оценкой их обобщающей способности. Для этой оценки разработаны различные методики, среди которых особенно популярен анализ ландшафта функции потерь.

Кривизна ландшафта описывается гессианом — матрицей, показывающей, как сильно и в каком направлении изменяется функция потерь при небольших изменениях параметров (весов) нейросети. Спектр гессиана (множество его собственных значений) показывает, насколько гладким или неровным получается ландшафт.

Принято считать, что если кривизна ландшафта большая, то функция потерь резко меняется, и модель может быть чувствительной к небольшим изменениям параметров. Обычно это указывает на низкую обобщающую способность нейросети (например, из-за переобучения). Если же кривизна ландшафта маленькая (поверхность преимущественно гладкая), то нейросеть более устойчива к небольшим изменениям и характеризуется лучшей обобщающей способностью. Однако кривизну поверхности сложно оценить математически, и некоторые исследователи находили примеры отсутствия связи гладкости ландшафта с обобщающей способностью. Это мотивирует к поиску дополнительных критериев оценки.

Ранее исследователи из отдела перспективных исследований компании «Криптонит» заметили, что у большинства нейронных сетей  в спектре гессиана преобладают положительные собственные значения. Такой спектр был назван MP-HESD, и для нейросетей с таким спектром гессиана были сформулированы критерии оценки обобщающей способности, опирающиеся на изменение спектра при смене данных. Однако иногда встречаются нейросети с гессианами с преимущественно отрицательными значениями в спектре (MN-HESD), и в таких случаях прогнозы предложенной методики оценки обобщающей способности могут быть ошибочными.

В новой исследовательской работе Никита Габдуллин показал, что MP-HESD типичны для сетей, обученных с разными традиционными методами, наборами данных и настройками. Это позволяет применять предложенные критерии для оценки обобщающей способности широкого класса нейросетей. MN-HESD появляются, если в процессе обучения искусственно изменять градиенты — например, усреднять или масштабировать их. В таких случаях анализ гессиана нельзя рекомендовать для оценки обобщающей способности нейросетей.

Чтобы разобраться, к какому типу относится анализируемая нейросеть, автор исследования предложил критерий, который помогает определить тип спектра гессиана. Этот критерий, вместе с ранее разработанными методами, образует единую систему оценки способности нейронной сети к обобщению. Также исследователь изучил, как меняется спектр гессиана во время обучения, и обнаружил спад собственных значений в конце обучения при постоянной точности и обобщающей способности. Это указывает на то, что сами значения не могут быть объективным критериям оценки, и необходимы иные оценочные критерии, как было предложено в данном исследовании.

Заключение

Главный вывод исследования: анализ ландшафта и гессиана функции потерь — полезные инструменты для оценки обобщающей способности нейросетей, но они имеют свои границы применимости.

Например, анализ гессиана нет смысла использовать, если при обучении модели применялись нестандартные манипуляции с градиентами.

Выполненная работа помогает лучше прогнозировать поведение нейронных сетей с новыми данными. Подробнее с ней можно ознакомиться в научной статье, бесплатно доступной в архиве Корнельского университета.