У нас был один сервер на базе нового процессора AMD, куча тестов, которые мы хотели прогнать, и неделя, чтобы проверить работу машины под реальной нагрузкой. Не то чтобы это был достаточный срок для близкого знакомства со свежей железкой, но когда постоянно тестируешь новинки и кастомизируешь сервисы, сложно остановиться.
Какие тесты мы все-таки успели прогнать, в каких задачах «новичок» переиграл нашу рабочую лошадку из флагманского пула, а где уступил — рассказываем под катом.
Представляем испытуемых
Мы давно ждали возможности взять на тесты сервер с последним поколением процессоров AMD. Совсем недавно такая возможность нам представилась. Встречайте: Dell EMC PowerEdge R6515 на базе процессора AMD EPYC 7742.
Ключевые характеристики CPU:
64 ядра;
128 потоков;
базовая частота 2.25GHz;
максимальная частота на ядро (boost) до 3.4GHz;
L1 cache – 4MiB;
L2 cache – 32MiB;
L3 cache – 256MiB.
Согласитесь, выглядит многообещающе. Недавно мы уже брали на тест серверы с процессорами от AMD прошлого поколения. Результат, увы, не впечатлил — приблизительно на уровне Intel пятилетней давности.
А потом в интернете стали появляться восторженные статьи о новых CPU. Это разожгло в нас скепсис — разговоров много, а объективных тестовых показателей ни у кого нет. Все писали, что стало больше производительности, сократилось энергопотребление. Что серверы Dell EMC PowerEdge на базе процессором AMD подойдут для работы с требовательными ресурсоемкими приложениями и облачными сервисами (они используют чипы AMD EPYC, имеющие от 8 до 64 ядер и поддерживают высокоскоростной интерфейс PCIe 4.0). Поэтому мы решили любой ценой заполучить свежие процессоры и прогнать на них хотя бы основной набор тестов. Поскольку мы занимаемся виртуализацией — грубо говоря, отдаем заказчикам ядра — нам было интересно, как CPU поведет себя под нагрузкой.
Сравнивать этот сервер мы будем с нашей текущей «рабочей лошадкой” — Dell Poweredge R740 с двумя Intel Xeon Gold 6254 на борту. Мы активно используем эти серверы уже около года. Процессоры там отличные и подходят под любые задачи. Кроме, разве что, 1С. Здесь нужны более высокочастотные CPU. Для 1C используем Intel Xeon Gold 6244. Тут писали, как проводили на них тесты Гилёва.
Пул тестовых задач
Наша стандартная процедура тестирования проходит на двух уровнях:
серия тестов на самом сервере, «глазами провайдера»;
тестирование из виртуальных машин, размещенных на сервере — «глазами клиента».
К сожалению, процесс отладки сервера внутри нашей инфраструктуры отнял часть драгоценного времени, и мы успели осуществить только несколько sysbench-тестов. Тем не менее, результаты получились весьма любопытные.
Набор тестов
Тест | cmdline |
sysbench, max prime, one core | taskset -c 0 sysbench --test=cpu --cpu-max-prime=20000 run |
sysbench, max prime, all cores | sysbench --test=cpu --cpu-max-prime=100000 --num-threads=8 run |
sysbench, oltp-mysql, i thread | sysbench --test=oltp --db-driver=mysql --mysql-db=test --mysql-user=root --mysql-socket=/var/lib/mysql/mysql.sock --mysql-table-engine=innodb --max-requests=0 --oltp-table-size=1000000 --max-time=300 --num-threads=$i run |
Все тесты проводились на виртуальной машине с 8 vCPU и 32Gb RAM.
Результаты: стандартный пул КРОК
Для затравки посмотрим на цифры с референсного Dell EMC PowerEdge R740:
Тест | Результат |
sysbench, max prime, one core | total time: 19.1545s |
sysbench, max prime, all cores | total time: 22.1102s |
sysbench, oltp-mysql, 1 thread | 828.69 tr. per sec. |
sysbench, oltp-mysql, 2 threads | 1605.72 tr. per sec. |
sysbench, oltp-mysql, 4 threads | 2992.22 tr. per sec. |
sysbench, oltp-mysql, 8 threads | 5927.20 tr. per sec. |
Результаты: сервер на базе AMD
Результаты тестируемого Dell R6515 c AMD EPYC 7742:
Тест | Результат |
sysbench, max prime, one core | total time: 15.6657s |
sysbench, max prime, all cores | total time: 18.9329s |
sysbench, oltp-mysql, 1 thread | 1023.46 tr. per sec. |
sysbench, oltp-mysql, 2 threads | 1709.39 tr. per sec. |
sysbench, oltp-mysql, 4 threads | 3231.34 tr. per sec. |
sysbench, oltp-mysql, 8 threads | 4533.65 tr. per sec. |
Как видно из результатов, виртуальная машина на R6515 показала себя лучше, чем на R740, кроме OLTP теста на 8 тредов — здесь преимущество осталось за референсной машиной. Именно OLTP тестирование открыло небольшой подводный камушек: в 1, 2 и 4 тредах производительность отличная, а в 8 потоках процессор уже «зарывается».
Почему так происходит, сказать пока сложно. Чтобы понять процессор и научиться с ним работать, одной недели явно недостаточно. Хотелось бы провести дополнительные тесты в различных вариациях: например, «погонять» ВМ с 4 ядрами в четыре потока. Это позволило бы понять особенности работы CPU.
Было бы очень интересно прогнать любимый всеми тест Гилёва и сравнить полученные результаты. Увы, время у нас было ограничено, поэтому тестировали самое основное.
Выводы
Давайте обсудим особенности каждого из наших испытуемых и попробуем подвести итог.
Сервер Dell EMC R6515 c AMD EPYC 7742 однозначно интересен. У него высокая плотность ядер на юнит, хорошая производительность и несколько меньшая стоимость по сравнению с Dell из нашего флагманского пула: выгода около 40% в расчете на vCPU и 20% с учетом фактической производительности (price/performance).
К минусам можно отнести высокое тепловыделение, но здесь всё зависит от системы кондиционирования в вашем ЦОДе.
На выходе получился мощный комбайн для больших объемных задач, способный без проблем переваривать серьезные аналитические расчеты, CRM-системы, базы данных или множество виртуальных машин. Если говорить о стоимости — один этот процессор стоит дешевле, чем два Intel’а из нашего стандартного пула. Да и сам сервер стоит дешевле используемого сейчас R740. На выходе получается более высокая производительность за меньшие деньги.
Мы с коллегами пришли к выводу, что процессор у AMD получился действительно хороший . Он отлично подойдет для реализации типовых сценариев. Возможно, AMD EPYC 7742 появятся в нашем облаке — мы постоянно кастомизируем сервисы, поэтому такой зверек может оказаться очень кстати.
Разумеется, однозначно рекомендовать их мы не можем. Выбор железа основывается на задачах. Тестируйте разные варианты и выбирайте то, что лучше всего подойдет именно вам.
По традиции, ждем ваших комментариев. Если у вас остались какие-то вопросы — будем рады ответить на них.
BiosUefi
>>и поддерживают высокоскоростной интерфейс PCIe 4.0
я так понял эта опция не тестировалась?
А было бы интересно не проседает ли что, и в каком месте.
Причем проверить все 128 линий, а не десяток другой и на том успокоиться.
ENikulin Автор
Да, PCIe 4.0 не тестировали.
bellerofonte
у Linus Tech Tips есть прекрасное видео про Epyc и его 128 линий PCI-e. Если коротко, то они забили все линии 1го эпика 24мя NVMe накопителями, чтобы сделать ультра-мега-быструю СХД, но столкнулись с целым рядом проблем.
BiosUefi
>> и его 128 линий PCI-e
на 4й минуте видно в 4х слотах карты с «глубыми кабелями», слот с сетевушкой и 3 свободных х16. Так что, на 128 не похоже.
Но, это действительно то, что я имел ввиду.
Спасибо.
bellerofonte
согласен