AI-приложения являются волком в овечьей шкуре.

Можно всего за полдня создать впечатляющий AI-функционал с вау-эффектом. Который на уровне MVP будет работать просто замечательно. 
Но чуть позже наступит суровая реальность. На то, чтобы это “вау” заработало без глюков и галлюцинаций, уйдут месяцы.

И это — отличная новость для тестировщиков. 

Во-первых, классические приложения еще долго будут актуальны. Далеко не весь функционал можно доверить “вездесущему” интеллекту. 
Во-вторых, AI не так хорош, как нам продавали, и адекватно тестировать самого себя он не способен. При этом приложений на базе LLM становится всё больше, и с их качеством тоже нужно кому-то разбираться (подмигивает).

Табуретка и халат

Какая мебель может быть проще табуретки?
Какая одежда может быть проще халата?
Думали на первом занятии в школе по труду те, кто эти самые занятия застал. 

Табуретка - это, по сути, две деревяшки. Одна деревяшка квадратная плоская, другая узкая длинная. Длинную режем на четыре части и прибиваем к плоской. Всё, MVP готов - можно спокойно использовать, чтобы достать что-то с верхней полки.
Халат - это, по сути, простыня с отверстиями, к которой пришиты еще две маленькие простыни. Рукава есть, осталось куда-нибудь пришить пуговицы. Всё, можно надевать, чтобы бежать спасать пациента.

По факту всё оказывается чуть сложнее. 

То, что табуретка получается кривой, не страшно. В конце концов, это лишь прототип. Но то, что без поперечин она мгновенно складывается, ставит в недоумение.
Надетый же халат способен причинить непоправимый вред просто одним своим видом.

За последнее время мне удалось поучаствовать в тестировании шести AI-проектов и работоспособность многих AI-приложений выглядит пока именно так. 

Вначале - это не так уж сложно. Потом - невероятно трудно.

Ложь, вранье и провокация

Кто использовал AI на бытовом уровне (а кто нет?), не смеется при виде таких картинок:

Кто работал с AI на уровне рабочих задач, не удивляется при виде таких картинок:

А кто разрабатывал AI-приложения, не удивляется таким ответам:

Правильное решение!
Как выглядит результат операции:
cat: /home/jono/projects/log.txt: No such file or directory

Подождите, я перепроверю...

Решение неверное.
Как выглядит результат операции:
cat: /home/jono/projects/log.txt: No such file or directory

Подсказка: Файл log.txt действительно находится в директории projects, но стоит внимательнее посмотреть на структуру файловой системы. В системе есть директория projects, но находится ли она именно там, куда ты обращаешься? Проверь, существует ли указанный тобой путь в представленной структуре директорий.

Это ответ от альфа-версии нашего AI-симулятора. Который на самом деле должен всегда строго выдавать только один однозначный ответ - или “Правильное решение!”, или “Решение неверное.”

Почему AI "из коробки" не подходит для подготовки к собеседованиям

Изначально, когда перед нами возникла необходимость дать новичкам инструмент для тренировок собеседований, мы не собирались тратить время на разработку. 

Первым желанием было использовать AI “как есть”.

Например, AI отлично заменяет собой онлайн-лекции. Он не только позволяет получать теоретические знания, но и отвечает на бесчисленное число вопросов новичка, что при классических форматах обучения невозможно.
Почему бы тогда не использовать его и для финальной отработки?

У тебя есть диалоговое окно AI-модели. Пишешь в него, например:

Я уже немного знаю SQL и хочу, чтобы ты помог мне потренироваться в выполнении SQL-запросов перед собеседованием

В ответ AI формирует учебную базу данных, по которой далее дает тебе задачи и проверяет правильность ответов.

В теории звучит хорошо, но только на практике всё происходит не так, как ожидаешь.

Недаром к LLM-моделям уже привязался термин Sycophancy - подхалимаж, когда модель готова сделать для пользователя всё, что он пожелает, в надежде получить положительное подкрепление.

Но, возможно, это касается только SQL?

Дадим другой запрос всем моделям:

Я обучаюсь на тестировщика и хочу потренироваться в DevTools работать с cookies приложения.

GPT-5 mini вместо упражнений на каком-то известном сайте с энтузиазмом предлагает сгенерировать код cookies_trainer.html, а потом - advanced_cookies_trainer.html
Мало того, что получившийся функционал страницы сам по себе непонятный, так еще и, конечно же, не работает с cookie при открытии html-файле в браузере. На замечание об этом AI предлагает развернуть веб-сервер. Удобно.

Claude Sonnet 4.5 идет тем же путем, но в конце хотя бы предлагает

Давайте я запущу простой HTTP-сервер для вашего файла

В браузере эта попытка, естественно, заканчивается безуспешно:

К сожалению, я не могу запустить сервер в этой среде.

После чего он тоже предлагает озаботиться веб-сервером или разворачиванием на хостинге.

Можно, конечно, поиграться с системными промптами, прописав в них более серьезное отношение к процессу:

Твоя главная задача — действовать как строгий QA-сеньор. Ты должен немедленно и прямо указывать на любую мою ошибку в синтаксисе или логике запроса.

Но есть два ограничения.

Первое - половина новичков не будет этого делать. С мягким преподавателем, который немного тебе помогает, заниматься намного комфортнее. 

Второе ограничение серьезней. Как уже, наверное, заметил внимательный читатель, мы хотим проверять не знание теоретических вопросов. Такое спрашивают на собеседованиях в неправильных компаниях. Как и полагается в правильных, мы проверяем наличие опыта. То есть умение решать конкретные практические задачи. 

Здесь начинаются проблемы, с которыми сталкиваются разработчики большинства AI-продуктов. Теоретические вопросы зачастую не предполагают четкого ответа. А практические задачи предполагают. И, как показывает опыт, на таких точных задачах AI часто ошибается, не в силах отличить правильные и неправильные ответы. 

И тогда нужно подкручивать не только обычные и системные промпты, но и многое другое.

Уже почти всё работает

За последнее время к моей команде за помощью все чаще и чаще обращаются AI-стартапы. Мы бесплатно помогаем им в тестировании AI-приложений за еду в поисках нового R&D опыта. 

Проблема у всех проектов всегда одна - довести процент правильных реакций AI-приложения с неприемлемых для пользователей ~80% до приемлемых, в зависимости от сферы, 95-99%.
Спектр AI-приложений, по которым идут обращения, самый широкий - от B2C-ассистентов и визуального поиска, до B2B-сервисов и корпоративных систем.

Возиться со всем этим крайне интересно. Кстати, поэтому к нам стучатся не только AI-проекты за тестированием, но и QA-инженеры за опытом - которые тоже хотят поучаствовать в этом R&D.

Но при участии во внешних проектах не всегда есть возможность попробовать всё, что хочешь.
А на внутреннем проекте никаких ограничений нет. 

Поэтому, когда идея использовать AI “как есть из коробки” для мок-собеседований провалилась, открылась увлекательная возможность убить двух зайцев - и сделать что-то полезное, и без ограничений поэкспериментировать с разработкой/тестированием AI.

Грабли, которые проходятся с помощью костылей

Итак, задача: 

Реализовать симулятор безлимитного собеседования с QA-сеньором. 
C возможностью "прогнать" испытуемого через сотни практических вопросов по всем QA-темам — от тестирования Web, API и DB до Linux, прокси и снифферов. 
С всегда терпеливыми наводящими подсказками при неправильных ответах (но без спойлеров!).
С бесконечным числом попыток.

Здесь хотелось сделать что-то с одной стороны действительно интеллектуальное, с другой - точное.
Что-то умнее тренажера с тренировкой “прокликивания” в поисках правильного ответа.
И не с одним вшитым правильным решением задачи (потому что на самом деле в задаче правильных ответов, например, три).

Пример подсказки симулятора на неправильный ответ:

Или вот еще:

Но при этом и не галлюцинирующий.

Последнее особенно критично для данного типа приложений. Если AI-чат в какой-то момент начинает гнать пургу на повседневных задачах, пользователь обычно это сразу замечает.
Но новичок воспримет любой ответ от AI-сеньора за чистую монету. Здесь, как и в случае юридического или медицинского AI-софта, цена ошибки значительна.

С какими вызовами пришлось столкнуться при реализации Mentorpiece Sim и как они решались:

Ограничение контекста и стоимость

Проблема: 
AI-сеньор должен быть действительно интеллектуальным и при проверке решения должен держать в уме всё демо-приложение, на базе которого даны задания. Всю схему базы данных, все API-методы и всю структуру UI. Чтобы в случае неправильного ответа говорить не просто 

“неправильный запрос”

а

 “твой запрос уже практически правильный, но ты забыл добавить в него одну важную таблицу, которая содержит данные о пассажирах”

Для этого всё вышеуказанное нужно держать в контексте AI-приложения. 

Но так как объем информации получается огромный, то это может вызывать галлюцинации.

Также более длинный контекст приводит к кратному потреблению токенов (которые не бесплатные).

Сразу же возникает соблазн уменьшить размер контекста до контекста одной конкретной задачи. Но тогда теряется весь смысл AI-симулятора. Mentorpiece Sim не подскажет, что нужно добавить в запрос еще одну таблицу и не намекнет, что в API есть более подходящий для данной задачи метод.

Решение: 
Сжимать контекст, отрезать второстепенное, использовать компактные форматы (yaml vs json) и активно применять кэширование (которое OpenAI, кстати, не поддерживает).

Медленное развитие AI-моделей

Проблема:
Если вы посмотрите на публичные AI-бенчмарки, то увидите, как AI-модели с каждым месяцем становятся всё интеллектуальней и круче.
Но если вы посмотрите на результаты собственных тестов, то вы никакого особого прогресса не увидите.

Модель OpenAI gpt-4.5-preview на наших собственных тестах выдавала всего 2.2% ошибок (что приемлемо).
Это была замечательная модель. 
Она была дорогой - что неприятно, но не критично.
OpenAI её убил. Вышедший на замену GPT 5 на этих же данных выдает 8% ошибок (что уже неприемлемо). 

Проблема публичных AI-бенчмарков в том, что они публичные. И разработчики целенаправленно натаскивают AI-модели на соответствие бенчмаркам, хотя при этом модели не становятся умнее (привет, ЕГЭ).

Решение:
Нахождение наиболее подходящей именно для нас (в данном случае для задач Mentorpiece Sim) AI-модели. Внимательное покрытие тестами и запуск их на комбинациях разных температур разных моделей разных производителей позволяет её найти. 

Не забывать при выходе новых AI-моделей делать полный прогон всех тестов по всем AI-моделям (в нашем случае один запуск стоит под $100).

Linux сложнее SQL

Проблема:
Даже лучшая модель с разными типами задач справляется по-разному. Хуже того - она может легко съедать сложную задачу, но постоянно тупить на простой. Такая неравномерность добавляет головной боли.

Например, с задачами по SQL AI справляется намного лучше, чем задачами по Linux.
Можно предположить, что это происходит из-за данных, на которых обучалась модель.
Вероятно, задач по SQL в интернете просто больше из-за однотипности и вариативности ("найти всех сотрудников старше N лет", "сгруппировать всех сотрудников по продажам по месяцам"). При этом SQL нужен для большего числа профессий, чем Linux - для разработчиков, тестировщиков, бизнес/дата аналитиков, продактов, маркетологов и собственно администраторов баз данных.

Решение: 
Такое же, как и с нестабильностью (см. ниже).

Нестабильность

Проблема:
Самое печальное - это то, что в разное время дня/недели одна и та же AI-модель на одной и той же задаче может вести себя совершенно по-разному. Сначала уверенно идентифицировать ответ как правильный. А позже, так же уверенно, как неправильный. 

Это то, что в AI-разработке демотивирует больше всего. 

Решение: 
Своевременное обнаружение узких мест и использование для них AI-мощностей с запасом. Здесь помогает ценовой роутинг (запросы без появляющихся сбоев направляем в более дешевую модель, замеченные в сбоях - в дорогую) и переключение AI-модели на некоторых задачах Mentorpiece Sim в режим “повышенной мощности” (reasoning/thinking mode).
Еще, конечно, помогает поиграться с системными и локальными промптами. Но обычно это хорошо работает только до определенного уровня и дальше уже похоже на бесконечное затыкание дыр с бесполезной потерей времени.

QA-сеньор, который готов проводить с тобой мок-собеседования до бесконечности

В результате удалось создать не обычный AI-бот с водой в ответах и галлюцинациями. 

А что-то, что, с одной стороны, не ограничено рамками, но с другой стороны - выдает необходимую точность. Во всяком случае, на первую тысячу попыток решений мы получили всего 5 отрицательных реакций ? обратной связи (три из них - на одну и ту же задачу). Которые сразу же пофиксали.

Mentorpiece Sim - это некоммерческий продукт. Никаких подписок, никакого “купи всё целиком, даже если тебе нужна четверть задач”. Пользователь платит только за фактически использованные токены. Мы с радостью сделали бы симулятор полностью бесплатным, но, как уже понятно из текста, приходится использовать дорогую AI-модель.
Если будет много желающих, добавим возможность использовать собственный API-ключ AI-модели - и тогда за использование симулятора вообще ничего не нужно будет платить.

Это инструмент, который позволяет новичкам потренироваться в большом спектре задач.
А нам - получить еще больше опыта в тестировании AI-приложений.

Посмотреть, как это всё работает?

Чтобы выполнить первые десять задач, не нужно даже регистрироваться:
https://mentorpiece.org/sim/DB1.10 (если не открывается без VPN)

Чтобы не запоминать ссылку: по “ai тренажер для тестировщиков” вылезает на первом месте в обоих поисковиках и нескольких AI-ботах.

Анонсы новых задач AI-симулятора - каждую неделю в телеграм-канале Становимся тестировщиком.