Как деградирует продовый LLM-инференс: KV-cache, OOM и хвост p99 +11
- Блог компании VK Tech
- Блог компании VK
- Машинное обучение
- Искусственный интеллект
- Высоконагруженные системы
Публикации с тегом высоконагруженные системы
Как деградирует продовый LLM-инференс: KV-cache, OOM и хвост p99 +11
- Блог компании VK Tech
- Блог компании VK
- Машинное обучение
- Искусственный интеллект
- Высоконагруженные системы
Go SDK для YDB: уменьшаем количество запросов к СУБД для интерактивных транзакций
Подводные камни ИИ-инфраструктуры: что узнаёт заказчик через полгода после запуска (и как мы предусмотрели это в ПАК) +15
- Блог компании Группа Rubytech
- Высоконагруженные системы
- Искусственный интеллект
- Kubernetes
- IT-инфраструктура
Предзагрузил пачкой — получил N² запросов. Как expire_on_commit превращает оптимизацию в квадрат +7
Двойная бронь: как мы поймали гонку в записи и закрыли её EXCLUDE-констрейнтом -4
Почему метрика FCR врёт (и это не баг данных) -1
Как сделать приложение быстрым и надёжным с помощью межсервисных запросов +6
Один ход агента — 120 000 токенов. Разбираемся, куда они уходят и как мы это починили +1
Записки оптимизатора 1С (ч.18.2). Ошибки 1С из-за конфликта блокировок +9
Вам нужны не упорядоченные, а умные события +8
- Блог компании Издательский дом «Питер»
- Распределённые системы
- Высоконагруженные системы
- Облачные вычисления
- Микросервисы
Архитектура TMS на .NET: кластер, потоки координат и объектное хранилище +3
Разработчики знали код. Никто не знал систему +5
Как поднять userver без Docker на Ubuntu +2
Строили ANN руками — когда это того стоило, а когда нет +3
