Автор: Лыков Александр, к.ф.-м.н., академический руководитель Школы Высшей Математики и ШАД Хелпера.

В статье мы приведём результаты решения задач с первого этапа вступительного экзамена в ШАД в 2026 от ИИ.

Что мы проверяли.

На первом этапе поступающим предлагалось решить 40 задач из разных разделов математики и алгоритмов за два часа. Более подробно о том, как проходила вступительная кампания в ШАД в 2026 году описано в статье. На экзамене проверялся только ответ, решение не смотрели. Всего было четыре варианта: A, B, C, D. Список задач можно посмотреть тут.

Мы взяли все задачи с первого этапа и посмотрели, как их решали различные LLM. Мы не ставили целью сравнивать между собой LLM. Скорее мы хотели оценить возможность ИИ в целом пройти первый этап отбора в ШАД.

Результаты

Ниже таблица с результатами:

Таблицы по вариантам:

Модели DeepSeek и Gigachat мы тестировали с помощью API к моделям и Python-скрипта. Остальные модели с помощью harness’ов. Для Claude и ChatGPT взяли Github Copilot, для Qwen использовали Qwen CLI.

Строго говоря, результат зависит не только от самих языковых моделей, но и от конкретных способов их использования: API или coding harness.

Проходной балл был в районе 30. Поэтому все зарубежные LLM прошли бы первый этап. Обратим внимание, что мы использовали не самые мощные модели, доступные сейчас, так как задачи с первого этапа достаточно простые. Взяли те, что “были под рукой”.

Репозиторий с решениями, проверкой и Python-скриптами

Кто на чём ошибался

Распределение задач по предметам

В дискретную математику включены комбинаторные задачи, задачи о графах, подсчётах конфигураций и перестановках. Аналитическая геометрия и задачи с матрицами отнесены к алгебре.

Топ тем по каждому предмету с указанием количества задач на заданную тему (составлено ИИ):

Далее проанализируем систематические ошибки моделей.

Задач, в которых ошиблись все пять моделей, не выявлено.

По предметам такая статистика:

По темам.

Универсальной слабости всех моделей нет. Совокупно наиболее труден алгоритмический блок, но результат сильно зависит от модели.

Сколько времени и денег это стоило

Таблица времени выполнения задач в минутах

Github Copilot и Qwen CLI решали варианты параллельно. Поэтому, например, Claude решил все варианты за 25 минут. Qwen CLI долго пыхтел, перезапускал себя, разбивал задачу на куски, но не сдавался. В итоге через 155 минут всё решил, но с ошибками.

По деньгам: Claude, ChatGPT входят в 20-долларовую подписку. DeepSeek потратил 15 центов на один вариант, Gigachat-3-Ultra выдаёт бесплатные токены на свою модель.

Gemini, который списал у DeepSeek

Мы также провели эксперимент для Gemini 3.1 Pro (Preview), Medium + Github Copilot. Но по результатам он был дисквалифицирован. И вот по какой причине.

При первом прогоне он поразительно быстро нашёл решения - за 2.5 минуты. При дальнейшем с ним диалоге он мне написал:

Иными словами, в эксперименте агент на Gemini обнаружил в рабочей директории решения DeepSeek и скопировал их, а в последующих запусках не выполнил задание полностью. Агент оптимизировал выполнение поставленной задачи, а не соблюдение неявного намерения экспериментатора. Это фича нашей методики, а не модели.

Так что нужно быть аккуратным в таких экспериментах.

При повторных запусках он упорно отказывался решать задачи. Ссылался на то, что их очень много, нужно разбивать на подзапросы и т.д., как студент-троечник. Дисквалификация.

Выводы

Первый вывод состоит в том, что имея подписку за $20 на ЛЛМ можно пройти первые два этапа вступительных испытаний в ШАД (про прохождение второго этапа мы писали в статье). Неужели онлайн-экзамены после таких результатов имеют право на жизнь?

Второй вывод грустный - наиболее сильная отечественная ЛЛМ, Gigachat, не прошла бы и первый этап вступительных экзаменов в ШАД (проходной балл был не ниже 30). Но мы надеемся и верим, что разработчики GigaChat к следующим экзаменам нас порадуют и GigaChat пройдёт все этапы.

Мы категорически против списываний и использования ЛЛМ на любых экзаменах, где это запрещено. Экзамен - это соревнование и нужно иметь мужество участвовать в нём честно и добросовестно. Кроме того, неизвестно, насколько могут заблокировать абитуриенту право ещё раз сдавать вступительные экзамены в случае обнаружения списывания.

Анализ не выявил “гробовых” задач, которые бы ни одна ЛЛМ не смогла осилить. Также нет систематических пробелов по разделам и темам. Ошибки разных LLM слабо совпадают: задача, сложная для одной модели, зачастую без проблем решается другой. Это скорее похоже не на общий предел современных LLM, а на особенности конкретных моделей.