17.06.2025 06:27
slivka_83 4 3500 Источник

Представляю вашему вниманию курс, который я недавно опубликовал на Степике - Разработка LLM с нуля.

В курсе вам предстоит с нуля разработать современную LLM и все необходимые для ее работы компоненты:

  • Токенизатор (BPE)

  • Эмбеддинги (Токенов и Позиционные)

  • Блок Декодера:

    • Multi-Head Attention

    • FeedForward-слои

    • Остаточные связи

  • Вероятностная генерация

После того, как основной код будет готов, мы соберем необходимый для pre-train'а датасет и обучим свою LLM.

Разработка будет вестись на Python и низкоуровневых компонентах PyTorch.

Курс платный. Следующие две недели по промокоду FIRST предоставляется скидка 50%.

Комментарии (4)


  1. MaximusPrimie
    17.06.2025 06:34
    #28445234

    Только один нюанс. Обучение LLM и даже дообучение готовой модели требует весьма немаленьких затрат, т.к. всё упирается в дорогие вычислительные мощности и не просто в CPU, а GPU. При чем даже самая мощная видеокарта годится для этого.


    1. slivka_83 Автор
      17.06.2025 06:34
      #28446268

      Все так :) Новый Qwen и DeepSeek мы конечно не изобретем, а вот примитивный GPT-1 попробуем собрать :)