Мы наткнулись на потрясающее исследование, которое объясняет, как искусственный интеллект начинает думать почти как человек. Учёные решили заглянуть внутрь нейронных сетей и проверить, как они организуют свои «мысли». Вдохновились они идеей шведского учёного, который сказал, что в нашем мозгу понятия вроде «кот» или «яблоко» - это не просто точки, а целые области, причём выпуклые. Мы перевели и упростили это исследование для вас, чтобы показать, как машины учатся обобщать и становиться ближе к нам. Погнали разбираться!

Что за исследование?

Учёные задались вопросом: как ИИ внутри своих скрытых пространств (это такие внутренние «карты», где он хранит знания) организует информацию? Они взяли идею Питера Йерденфорса о концептуальных пространствах: в нашем мозгу понятия вроде «кот» — это не одна точка, а целая область. Если взять двух котов, то всё между ними (по цвету, форме, пушистости) тоже будет котом. Это называется выпуклостью, и она помогает нам быстро учиться, обобщать и понимать друг друга.

Исследователи решили проверить, есть ли такая выпуклость в ИИ. Они взяли крутые нейронные сети, которые работают с картинками, текстами (новостные посты), звуками (речь), данными активности людей и медицинскими снимками (кровяные клетки). И начали копать: формирует ли ИИ такие же выпуклые области, и если да, то как это помогает ему учиться?

Что такое выпуклость, и почему она крута?

Представьте, что у вас есть карта, где все котики собраны в одном районе. Если вы берёте двух котов и проводите между ними линию, то все точки на этой линии - тоже котики. Это и есть выпуклость. Она важна, потому что:

Помогает обобщать: увидев двух котов, ИИ может понять, что промежуточные варианты - тоже коты.

Ускоряет обучение на малых данных: если область выпуклая, ИИ быстрее учится на нескольких примерах.

Делает ИИ ближе к человеку: выпуклые области похожи на то, как мы сами организуем знания.

Учёные придумали два способа измерить выпуклость в нейронных сетях:

1. Евклидова выпуклость: Берём два объекта одного класса (например, два изображения котов), соединяем их прямой в скрытом пространстве сети и проверяем, остаются ли точки на этой линии тем же классом.

2. Графовая выпуклость: Строим граф, где точки - это данные, а связи - ближайшие соседи. Если кратчайший путь между двумя котами проходит только через других котов, область выпуклая.

Что нашли учёные?

Выпуклость везде!

Оказалось, что выпуклые области есть почти во всех нейронных сетях, которые изучали учёные. Вот ключевые находки:

Выпуклость растёт с глубиной: Чем глубже слой в сети, тем более выпуклыми становятся области классов. Это как если бы сеть с каждым слоем всё лучше «упаковывала» знания.

Дообучение усиливает выпуклость: Когда модель дообучают (fine-tuning), области классов становятся ещё более выпуклыми. Например, в предобученной модели коты уже собраны в кучку, а после дообучения эта кучка становится ещё плотнее.

Работает во всех доменах: Будь то картинки котов, аудио речи, тексты, данные активности или медицинские снимки — выпуклость есть везде.

Выпуклость предсказывает успех

Самое крутое: выпуклость в предобученной модели говорит, насколько хорошо она справится после дообучения. Учёные нашли, что если области классов в последнем слое предобученной модели очень выпуклые, то после дообучения модель показывает высокую точность (корреляция ~0.53 для обоих типов выпуклости). Это как индикатор: чем выпуклее пространства, тем лучше модель обобщает.

Они также сравнили разные модели в одном домене (например, data2vec, ViT, DINOv2 для картинок). Модели с более выпуклыми пространствами давали лучшую точность после дообучения (корреляция ~0.63). Это значит, что если вы выбираете модель для задачи, смотрите на её выпуклость — она может подсказать, будет ли успех.

ИИ становится человечнее

Выпуклость - это не просто математика, а мост между человеком и машиной. В наших головах понятия вроде «кот» или «дерево» организованы в выпуклые области, и это помогает нам быстро учиться и договариваться друг с другом. Если ИИ тоже так делает, он становится понятнее и надёжнее. Например, если машина знает, что два кота - это коты, она может сама «догадаться», что промежуточные варианты тоже коты.

Практическая польза

1. Быстрое обучение: Модели с выпуклыми пространствами лучше справляются, когда данных мало (например, в медицинских задачах).

2. Выбор лучшей модели: Выпуклость - это как лакмусовая бумажка: она подсказывает, какая модель будет успешной после дообучения.

3. Доверие к ИИ: Если ИИ думает выпукло, как человек, мы можем больше доверять его решениям, потому что они ближе к нашему мышлению.

Что дальше?

Метод учёных работает круто для десятков классов, но если классов тысячи или миллионы, нужны более быстрые алгоритмы. Ещё интересно понять, почему выпуклость так хорошо предсказывает успех. Может, дело в том, как сети учатся обобщать, но это ещё предстоит выяснить.

Заключение

Это исследование - как луч света в мире ИИ. Оно показывает, что машины могут учиться думать почти как люди, формируя выпуклые области в своих скрытых пространствах. Эти области помогают ИИ обобщать, учиться на малых данных и становиться ближе к нам. Более того, выпуклость в предобученных моделях - это как предсказатель: чем она выше, тем лучше модель справится с задачей.

Подписывайтесь на наш телеграм-канал, там больше разборов исследований, а так же наши собственные кейсы.