NER для юристов, у которых нет A100: как мы догнали Ministral 14B моделью почти в 10 раз меньше +3
Публикации с тегом дистилляция
От учителя к студенту: путь к изотропным эмбеддингам в 29M модели. Часть 5/10
От учителя к студенту: путь к изотропным эмбеддингам в 29M модели. Часть 4/10 +3
От учителя к студенту: путь к изотропным эмбеддингам в 29M модели. Часть 3/10 +3
От учителя к студенту: путь к изотропным эмбеддингам в 29M модели. Часть 2/10
От учителя к студенту: путь к изотропным эмбеддингам в 29M модели. Часть 1/10
От учителя к студенту: путь к изотропным эмбеддингам в 29M модели. Часть 0/10
Почему softmax теряет градиенты — и как школьная алгебра 7-го класса помогает их сохранить +8
Терминал, которого нет: я научил модель на 360M параметров изображать bash, vim и tmux +8
Однобитная Bonsai по весам: что видно при сравнении с Qwen и как получить такую модель дистилляцией +7
- Natural Language Processing
- Алгоритмы
- Искусственный интеллект
- Исследования и прогнозы в IT
- Машинное обучение
Вторая память и второй мозг — не одно и то же. Как я собрал 200 тысяч файлов своей жизни и подключил к ним агентов +2
Можно ли научить маленькую LLM учиться без роста весов? Продолжение: почему повторное обучение упёрлось в потолок +1
Сколько Rust помещается в 0.5B +4
Можно ли научить маленькую LLM учиться без роста весов? Замеры, баги и честная статистика +3
Дистилляция ИИ, или как создать свой Claude. Рассказываем без воды :) -1
