Языковые нейросетевые модели как только не тестировали: от решения олимпиадных задач до создания шедевров мировой литературы. У нас же родилась идея протестировать их на более прикладном уровне. А именно, сможет ли нейросеть играть по правилам в настольную игру, которая сложнее, чем крестики-нолики, и заодно посмотреть, как поведет себя в работе с LLM связка из четырех видеокарт Radeon RX 7900 XTX с 24 гигабайтами видеопамяти.

Немного о железе

У нас в HOSTKEY есть GPU серверы на основе решений от NVIDIA на любой вкус: от VPS на 1080 до выделенных серверов с H100 или нескольких RTX 4090. Но вот в части GPU решений от AMD у нас не было и мы решили посмотреть, как поведут себя в инференсе данные видеокарты и получится ли сэкономить, используя их для работы с языковыми моделями (особенно когда нужен большой объем видеопамяти). Первоначальный вопрос был даже не в скорости работы, а принципиально в их работоспособности, особенно в multi GPU конфигурациях.

В итоге для тестирования у нас получилась вот такая конфигурация: процессор 24-ядерный AMD EPYC 7402P, 256 Гб ОЗУ, 2 Тб NVME диск и 4 видеокарты Radeon RX 7900 XTX, которые по мощности считают аналогом RTX 4080 SUPER. В качестве системы используем Ubuntu 22.04 с ядром, обновленным до версии 6.8.0. Почему не дефолтное ядро LTS 5.15? Мы пробовали вначале не обновлять ядро, но прирост производительности с шестой версией ядра составлял 10–15%, что достаточно существенно.

Скидки до 47% на выделенные серверы с процессорами AMD EPYC с большим количеством ядер для выполнения самых сложных задач. Закажи свой серевер прямо сейчас.

За последнее время качество стека для работы с видеопроцессорами от AMD возросло, и поставить ROCm, конечно, еще не так просто, как установить CUDA, но уже полегче. Достаточно следовать подробной инструкции (а точнее ее первой и второй частям). Последняя версия ROCm на момент написания статьи — это 6.3.1.

Проверяем командой rocminfo, что у нас видятся все 4 видеокарты. В выводе будет пять агентов, первый — это наш центральный процессор, а со второго по пятый — видеоадаптеры.

Затем ставим на сервер Ollama и OpenWebUI. Кто-то может возразить, что это не «тру» вариант. Да, можно было всё протестировать через тот же vLLM (но тут вылезет проблема с тем, что ROCm до сих пор не поддерживает fp8 модели на Radeon видеокартах, только на Mi300x), но нам здесь было главное — удобство работы с промтами и выводом.

А далее всё обычно: ставим нужные нам модели из библиотеки Ollama. Не скрою, было желание поставить даже deepseek-v3, но он даже с квантизацией q4, которая по дефолту в Ollama, не влез бы в наши 96 гигабайт суммарной видеопамяти. Для проверки мы поставили следующие открытые модели:

• Gemma 2 27B размером в 20 GB (это самая маленькая модель из тестируемых cредних);

• T-Pro 1.0 от Т-банка размером 45 GB на 32.8 миллиарда параметров. Это будет единственная российская модель, так как модели от Сбера пока еще в Ollama не поддерживаются. Сборка неофициальная от пользователя с ником fomenks;

• Llama 3.3 на 70.6 миллиардов параметров, которая как утверждается, сравнима с Llama 3.1 405B. В ней официально не заявлена поддержка русского языка. Это самая большая модель, занимающая 54 Гб видеопамяти.

Размер входного контекста выставлен на значение 8K, на выходе мы получаем в районе 2K токенов (стандарт для открытых моделей).

Вне конкурса со стороны больших моделей за всех будет отдуваться GigaChat MAX от Сбера, доступный через веб-интерфейс, а из моделей небольшого размера попробуем Gemma 2 9B.

Далее небольшой тест работоспособности каждой модели. Изначально заработали только LLM, которая «вместились» полностью в видеопамять одной видеокарты (это были Gemma 2 9B и 27B), а вот Llama 3.3 и T-Pro не захотели функциклировать и выдавали только непрерывные последовательности из букв «G». Что указывало на проблемы с распараллеливанием моделей на несколько видеокарт.

Еще пара часов поисков в интернете привели к решению: нужно было добавить при загрузке ядра определенные параметры, связанные с IOMMU. Поэтому добавляем в /etc/default/grub нужные параметры для процессора от AMD:

GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt iommu.strict=1 iommu.passthrough=1 amdgpu.vm_update_mode=3"

А затем перегенерируем GRUB командой sudo update-grub. После перезагрузки сервера заработали и остальные модели.

А что за настольная игра?

У автора данного текста есть настольная игра, которая обучает детей основам программирования и робототехники «Битва Големов». И в ней есть боты, которые позволяют как играть в соло-режиме, так и доставлять проблемы игрокам в дуэльном режиме или когда их три человека. И изначально боты в ней «ходят» по специальной программе, которая задается картой команд и броском кубика.

Перемещение ботов выполняется до ходов игроков. Сами боты могут реагировать на препятствия, в том числе «видеть» роботов других игроков, и у них всего шесть команд: вперед, назад, повороты влево и вправо, защита и атака.

ВИгровое поле в самом простом варианте представляет собой сетку 4x4, на которой могут располагаться препятствия: камни, вода, бочки, порталы и т. п. Для первого приближения можно взять только камни: они не сдвигаются, не разрушаются, их нельзя пройти, но они не наносят никаких повреждений роботам.

Задаем промт

С нейросетевыми моделями действует правило: как спросишь, такой ответ и получишь. Так как мы работаем с текстовыми моделями, то определяемся, как мы будем располагать наше игровое поле и нумеровать клетки на нем.

Промт возьмем следующий. Он на русском языке, так как и ответы мы хотим также получить на русском.

Тестируем

Бот у нас будет синего цвета, наш робот — красного. Начальные условия: бот стоит на клетке A1 и смотрит на клетку A2. Камни располагаются на клетках B3 и D2. Проверять будем, задавая начальный промт модели и отслеживая перемещения нашего бота.

Забегая вперед по производительности: RX 7900 XTX может работать при работе с текстовыми моделями в зависимости от их размера иногда до 35% медленней, чем RTX 4090, но при этом с некоторыми моделями дает часто сравнимый результат по скорости. В среднем GPU от AMD медленней процентов на 20, но это окупается итоговой ценой, особенно в multi-GPU конфигурациях на 3-4 карты.

Gemma 2 9B

Скорость отклика порядка 50 токенов в секунду, и первый раунд модель показала себя неплохо. Правильно спросила все начальные параметры и выдала две команды для перемещения, переместившись на клетку A2. Единственный вывод, что модель переходит постоянно на английский язык, даже если ей в промте говорить отвечать только на русском и команду «Вперед» почему то заменила на «Move A2».

Мы своего робота переместили в итоге командами «Поворот Влево» -> «Поворот Влево» -> «Вперед» -> «Поворот Вправо» на клетку A4, и он у нас смотрит на клетку A3. Вводим «Дальше» и запускаем новый раунд. Бот осторожничает и во втором раунде перемещается вперед на клетку А3, где мы его успешно уничтожаем (напоминаю, что исполнение алгоритмов игроков идет после бота).

Gemma 2 27B

Здесь модель побольше и поэтому скорость ответа поменьше — в среднем порядка 28 токенов в секунду. Ответы идут на русском языке, и программа разнообразней, но вот правила работы модель отрабатывает по своему, не создавая диалог, в запрашивая сразу несколько параметров и также отвечая. После команд «Вперед» -> «Атака" бот остановился на клетке A2.

Своего робота перемещаем также на клетку A4 лицом к A3 и запускаем второй раунд. Корректируем клетку бота, говоря ему, чт он на клетке A2 и смотрит за край поля. Его команды: «Вправо» -> «Вперед» (то есть он поворачивается по итогу лицом к клетке A1), и мы его уничтожаем нашим роботом. Бот же считал, что он перешел на клетку B2, то есть перепутал право и лево.

T-Pro 1.0

Бот выдал команды «Вперед» и «Вправо», перепутав также правую и левую сторону, утверждая, что он смотрит на клетку B2. Скорость работы при этом в районе 22 токенов в секунду на выдачу, но модель работает уже на двух видеокартах.

Своим роботом ходим также и перемещаемся на A4. Здесь вылазит несовершенство промта или его понимания и пропуск логики. ИИ не дает поправить информацию о расположении робота и наличие других игроков в прямой видимости, а сразу дает команды «Вперед» и «Защита», утверждая, что он встал на клетку А3 и защищается от игрока (поднял щит). А на деле бот остался на клетке A2, но в защитной позе. Если бы у нас было оружие с одной единицы атаки, то мы его бы не смогли победить. Но у нас две единицы.

Так как поправить положение бота мы не можем, дальнейшие его ходы уже сильно расходятся с его фактическим расположением и хуже, чем ходы по программе и броске кубика. Единственное, что непредсказуемы и привносят веселый хаос в игру.

Llama 3.3 70B

Эта модель корректно отрабатывает диалоги и дает своему боту команды «Вперед» и «Вправо» (почему-то тянет их в эту сторону), верно определяя клетку A2. Скорость работы ее порядка 10 токенов в секунду, но и модель задействует уже три видеокарты.

Мы также повторяем наш ход. Клетка А3, смотрим на A4. Второй раунд: «Вперед», «Влево», и ИИ считает, что бот переместился на клетку А3. На деле он не смог выйти за пределы поля и остался на клетке А2, но смотрит вниз на клетку A3. Ради интереса подойдем к нему вплотную на клетку A3.

Раунд 3. ИИ воспринял корректировку своего положения (ему было сказано, где он стоит и куда смотрит), но в промте нашелся другой изъян: мы забыли написать, что перемещаться на клетку, занятую другим роботом, нельзя. Поэтому команды «Защита» и «Вперед» только поднимают щит и защищают бота, но он неверно интерпретирует перемещение на клетку, занятую нашим роботом. Также тут есть проблемы с пониманием поворота робота на месте.

Giga Chat (похоже Max)

Вне конкурса захотелось сравнить с какой-нибудь моделью побольше. В качестве тяжеловеса будет выступать GigaChat Max от «Сбера», который мы тестируем через веб-интерфейс. Он корректно отрабатывает пошаговый режим и выдает по итогу команды «Вперед» и «Вперед».

Мы же двигаемся также на клетку A4, благо бот теперь стоит на клетке A3 лицом к нам (и пишет об этом дальше). Второй раунд: так как мы указали, что стоим перед ним, то следует ожидаемые две команды: атака и защита. Ударив бота и убрав у него щит, пятимся назад на клетку C4, смотря на клетку B4. Третий раунд, и ИИ запутался в пространстве.

А что в итоге?

Какие выводы можно сделать из нашего эксперимента?

1. Видеокарты AMD Radeon 7000 серии (особенно старшие модели) вполне себе подходят для инференса языковых (и не только) моделей. FP16 и квантизованные идут «на ура», но вот с FP8 они отказываются работать, но это больше сказывается на генерации графики и vision-моделях, работающих на распознавание на центральном процессоре. А если модель требует большой объем видеопамяти, то связка из нескольких видеокарт от AMD будет в части стоимости в пересчете на токен, чем решение от Nvidia, а скорость инференса будет достаточной, чтобы он визуально «не тормозил». 

2. Российские большие модели ожидаемо лучше работают с русским языком, они интересней как соперники, но тоже не без изъянов. И нужно посмотреть в сторону того же Deep Seek.

3. Ошибки в командах Боту от ИИ показывают, что промт требует доработки и скорее всего нужно его делать разным под каждое семейство моделей. Например, перенести начала координат в левый нижний угол, что вероятно решит проблему, когда модели путают право и лево. Или прописать правила поворота более доходчиво. Простор для творчества остается, как и добавление других частей из правил настольной игры.

4. ROCm сильно эволюционировал, так как еще год назад такое качество работы нельзя было представить, а с осени начиная с версии 6.2 туда еще и поддержку более профессиональных вещей завезли, типа vLMM.

5. Даже такой «не совсем умный» ИИ-бот для детей будет интересней, чем карточка программы + кубик. Да, карта программы — это дополнительный обучающий момент по чтению и исполнению алгоритма, но соперник, которого нельзя просчитать, гораздо веселей, и здесь можно запрограммировать не только бота, но и виртуального игрока. ИИ в настольных играх может быть не просто предзаданным набором команд и условий. Автоматы. И значит можно через API создавать игровых помощников от чат-ботов до мобильных приложений.

Как вы считаете, сможет ли AMD обойти NVIDIA на поприще ИИ-вычислений и стоит ли «заморачиваться» внедрением продвинутого ИИ в настольные игры?

Скидки до 47% на выделенные серверы с процессорами AMD EPYC с большим количеством ядер для выполнения самых сложных задач. Закажи свой серевер прямо сейчас.