Привет, хабряне!

Меня зовут Михаил Пожидаев. Я работаю доцентом на кафедре теоретических основ информатики Томского государственного университета. Читаю лекции по UNIX, программной инженерии, анализу сетей и обработке естественного языка, о которой хочу сегодня рассказать.

На протяжении пяти лет в центре курса по обработке языка, конечно же, находится трансформер — двигатель современных языковых моделей. С каждым годом моё понимание этого непостижимого механизма чуточку улучшалось и пополнялось новыми деталями. В этом году я решил на основе живых лекций сделать серию записей, чтобы результаты многолетних постижений и анализа стали доступны самой широкой аудитории. Получилось восемь роликов по восьми лекциям суммарной длительностью около десяти часов.

Курс ориентирован на фундаментальные основы вычислительных процессов, Harness рассмотрен только на одном занятии — про него и так сейчас говорится фантастически много. План лекций такой:

  1. Классические основы. Кратко о токенизации и сегментации, стемминге и лемматизации, TF‑IDF и алгоритме Витерби.

  2. Векторное представление слов. Кратко про перцептрон, линейную ячейку и функции активации, one‑hot vector, embedding sparse‑dense и другие, HNSW и фактические модели получения embedding, такие как Word2vec, FastText, ELMo и GloVe.

  3. Рекуррентные сети. Сеть Элмана и варианты её использования, Seq2Seq, кодер‑декодер, LSTM, GRU и некоторые предпосылки появления подходов к языковому моделированию на основе LSTM.

  4. Механизм внимания. Общая идея внимания, варианты Богданова и Луонга, переход к внутреннему вниманию (самая изящная фишка в курсе!), multi‑head attention, позиционное кодирование в разных видах.

  5. Трансформер. Блоки кодера и декодера, процесс обучения трансформера, residual connection, MOE и некоторые разновидности: Switch Transformer, BERT и T5.

  6. GPT. Отличия от трансформера. BPE и RoPE, механизмы выбора следующего токена, LogitsProcessor, промпты и навыки, tool calling и LoRA.

  7. Harness. Агенты на workflow и с открытым оркестратором, MCP, память, RAG и PRM.

  8. Анализ качества. Тест Тьюринга, перплексия, проблема галлюцинаций, классические вычислимые метрики и бенчмарки, Humanity's Last Exam.

Все восемь лекций абсолютно свободно доступны для всех желающих на странице курса на моём сайте marigostra.ru. Можно слушать прямо на сайте, можно скачивать, правила простые — CC BY‑NC 4.0. Записи выложены с разрешения директора Института прикладной математики и компьютерных наук ТГУ Дианы Дамировны Даммер и нашего проректора по науке, по совместительству заведующего кафедрой теоретических основ информатики Александра Владимировича Замятина.

Сразу отвечу на вопрос, почему выложил эти ролики. Очень просто: я хочу сделать курс ещё лучше. С каждым годом я понимал, что что‑нибудь можно было бы рассказать ещё правильнее. Поэтому, если кто‑нибудь захочет сделать предложения или замечания по курсу, пожалуйста, обязательно напишите мне! На финальном слайде есть вся моя контактная информация.

Комментарии (2)


  1. andi123
    11.11.2026 08:43

    А можно все это в текстовом виде? Я из старой школы, умею читать и рассматривать графики и чертежи.


    1. Marigostra Автор
      11.11.2026 08:43

      Добрый день!

      Материалы лекций во многом опубликованы в учебном пособии. Его можно купить тут:

      https://ridero.ru/books/mirazhi_intellekta_ot_testa_tyuringa_do_bolshikh_yazykovykh_modelei/?srsltid=AfmBOorrTTvTNMDlo7nNecDN\_VMD88NkVcTC8PQMbSGqPrRVmDZvd-FQ

      Но пособие прошлого года, в лекциях материал намного более ясный и актуальный. Обновлённая версия пособия в работе, но когда получится эту работу завершить, сказать пока трудно.