Запустить LLM локально: что считать до покупки видеокарты? +2
- Блог компании OTUS
- Машинное обучение
- Искусственный интеллект
- Компьютерное железо
- Natural Language Processing
Публикации с тегом локальный инференс
Я попробовал ужать LLaMA-7B до 1 ГБ без дообучения. Вот что произошло после 60+ экспериментов +3
Миллион токенов за 1 ₽ или за 20 726 ₽: одна RTX 5090, и почему API все равно дешевле +8
Нужен ли GUI вашему продукту, если всё решает локальный агент? +4
Пора переезжать на локальные LLM. Или нет? +4
