Большинство подобных обзоров пишут маркетологи курсов, но в данном случае я, как Senior ML Engineer, лично изучила и проработала каждый из этих ресурсов, когда сама переходила из QA в ML.

Меня зовут Лилия Урмазова, и вот как на текущий момент выглядит моя 20+ летняя карьера в IT:

Manual QA → Automation QA → QA Lead → QA Manager → AI QA Engineer → ML Evaluation Engineer → ML Engineer

Несколько лет назад, когда я перешла в ML, многие мои навыки из QA оказались актуальны. В результате моя зарплата заметно выросла, а уверенность в трудоустройстве на текущем рынке стала выше.

Конечно, при такой смене карьеры учиться приходится много, и тут начинаются трудности. Найти качественные материалы по тестированию AI‑приложений нелегко. Пока я училась, мне постоянно встречались поверхностные книги, явно сгенерированные ИИ, с рейтингом 4,5+ на Amazon. LLM тоже мало помогают: их знания ограничены датой полугодовой давности. Основы они позволяют понять, но пропускают нововведения в этой стремительно развивающейся отрасли. Поэтому лучше не искать один «лучший» курс, а собирать самую свежую информацию по частям.

Свежесть информации накладывает и еще одно ограничение:

Успевать следить за изменениями в AI/ML возможно только при изучении первоисточников на английском языке — поэтому большинство упоминаемых ресурсов англоязычные. К счастью, современные технологии дают нам живой перевод как текстовых, так и видеоматериалов.

Вводный уровень: традиционный QA, использующий AI‑инструменты

Для начала чётко разделите специальности «традиционный QA Engineer, использующий ИИ», «AI QA Engineer» и «ML Evaluation Engineer»:

Первый использует AI‑инструменты для тестирования классического, детерминированного функционала.
Второй тестирует AI‑функции, встроенные в обычные приложения.
Третий тестирует приложения, в которых ИИ является ключевой функциональностью.

0. Генеративный AI в тестировании ПО (курс, ENG): для традиционного QA с AI‑инструментами этого курса предостаточно. Coursera даёт 7-дневный пробный период, и этого хватит, чтобы его пройти.

Уровень I: AI QA Engineer

AI QA Engineer тестирует AI‑функциональность, встроенную в традиционные приложения: это львиная доля сегодняшнего рынка. В основном это тестирование методом чёрного ящика.

Работать с ИИ, не умея программировать — это утопия. Java подойдёт, но lingua franca ML/AI является Python: его экосистеме для моделей, статистики и трансформеров нет конкурентов. Так что если вы, например, работаете с Java, переучивайтесь на Python. При этом курсы по Python можно пропустить. Для обучения питону я использовала сложный пет‑проект в паре с Claude Code (совет: в настройках выберите Output style → Learning mode). Не скатывайтесь в ленивый «вайб‑кодинг»: пишите код сами и разбирайте логику ИИ. Да, для этого нужна платная подписка, но сегодня это так же неизбежно, как иметь ПК в 2000-х, если вы хотели работать в IT.

1. Оценка LLM для начинающих (бесплатное руководство, ENG): краткое руководство для старта в тестировании AI‑приложений.

2. Как тестировать AI‑приложения (бесплатный курс, RUS): возможно, как когда‑то и мне, вам впервые предложат начать тестирование AI‑приложения «уже завтра». Тогда я нашла очень мало материалов, поэтому позже сама разработала этот бесплатный вводный курс по основам.

3. Claude 101, Claude Code в действии, Введение в подагенты, Возможности и ограничения AI (бесплатные курсы, ENG): кто объяснит ИИ лучше его создателей? Claude Code сейчас необходим любому IT‑специалисту. Именно поэтому имеет смысл пройти эти вводные курсы в Anthropic Academy.

4. Разработка с использованием Claude API (бесплатный курс, ENG): чтобы тестировать AI‑приложения, вам придётся постоянно использовать ИИ через API, то есть по сути писать собственные небольшие AI‑приложения для тестирования. Этот курс от Anthropic длиннее предыдущих, но он даст все необходимые навыки (их можно применять и при работе с моделями OpenAI).

Не просто читайте эти материалы: проходите их все одновременно с написанием кода.

Уровень II: ML Evaluation Engineer

Кто такой ML Evaluation Engineer? Проще говоря, это QA‑специалист, который следит за качеством AI методом серого ящика.

5. Чип Хьюен — AI‑инженерия. Построение приложений с использованием базовых моделей (книга, RUS): всячески советую, это библия тестирования AI‑приложений. Пусть название вас не смущает: больше половины книги посвящено оценке, а не разработке. В оригинале стоит $50, но окупается многократно. Тем более что официальное переводное издание в формате pdf+epub стоит дешевле $10.

6. Оценка AI‑агентов (бесплатный курс, ENG): как тестировать AI‑агентов и прослеживать их рассуждения и вызовы инструментов? Этот сжатый практический курс даёт готовую схему на примере Phoenix (инструмента наблюдаемости для ИИ). В продакшене чаще используют Langfuse, но основы те же.

7. Разработка и оценка продвинутого RAG (бесплатный курс, ENG): чуть более сложный практический курс, знакомящий с процессом тестирования RAG, с которым ML Eval Engineer имеет дело ежедневно. Основы вы освоите на TruEra (фреймворк для оценки LLM, похожий на Ragas или DeepEval).

Уровень III: ML Engineer

Мой последний карьерный шаг был именно таким: ML Eval Engineer → ML Engineer.

ML Evaluation Engineer создаёт метрики, бенчмарки и инфраструктуру для оценки, а ML Engineer проектирует, обучает и развёртывает модели.

Сегодня путь ML Engineer делится на два отдельных трека: Classic ML Engineer (табличные данные, бустинги, классический NLP и рекомендательные системы) и AI/GenAI Engineer (LLM, RAG и дообучение базовых моделей).

Поскольку ML Eval Engineer уже пишет код, работает со стеком LLM и оценивает поведение моделей, переход на роль AI/GenAI ML Engineer с ростом оклада примерно на 25% куда легче, чем традиционный переход из QA в разработку.

8. Ускоренный курс машинного обучения (бесплатный курс, RUS): курс от Google о концепциях и алгоритмах машинного обучения. Материал очень хорошо выстроен, поэтому его стоит повторить при подготовке к собеседованиям.

9. Создание LLM‑моделей с нуля (бесплатный курс, ENG): нельзя оценить то, чего не понимаешь. Мне пришлось с чистого листа разобраться, как устроены модели, чтобы понять, как их измерять. Отдельное спасибо доктору Раджу Абхиджиту Дандекару за прекрасный курс, который охватывает основы LLM с самого начала и попутно подробно разбирает архитектуру трансформеров.

10. Чип Хьюен — Проектирование систем машинного обучения (книга; RUS есть, но даю ссылку на издателя, а не маркетплейсы): да, это тот же автор, что и у книги выше. Чип совмещает редкую глубину академической экспертизы уровня Стэнфорда и практический опыт работы в Nvidia, Netflix и других компаниях. Эту книгу я настоятельно рекомендую прочитать на данном шаге. Чтобы взять от неё всё, не просто читайте её, а прорабатывайте примеры кода в каждой главе (см. на GitHub).

Я постоянно изучаю новые материалы по тестированию ИИ, ML Eval и ML, поэтому буду расширять этот список по его основному адресу и уведомлять об этом в телеграм‑канале. В нем же появится ссылка за статью про необычный опыт (металлодектор и спецкомната под видеонаблюдением) сдачи экзамена Anthropic, который был частью моего перехода ML Eval Engineer → ML Engineer.