Чем нас x86 не устроил
В небольшой компании админ может развернуть в экзотической конфигурации сервер на Gentoo, с которым именно ему будет удобнее работать. Когда в зоне ответственности бизнес масштаба ВТБ, то каждая деталь оценивается на многочисленных совещаниях большим количеством людей. Иначе развертывание и эксплуатация новых систем может обернуться большими проблемами.
В банковской сфере широко распространены RISC-системы, и мы не стали здесь исключением. Часть наших сервисов уже работает на RISC-архитектуре или переводится на нее. При этом облачные провайдеры для проектов нашего масштаба работают преимущественно с x86. Оценив все «за» и «против», мы решили обойтись без изменения архитектуры и не переносить на x86 все сервисы, оставив на RISC то, что успешно работало на RISC до внедрения облака. Более того, часть x86-сервисов в ходе проекта, наоборот, была переведена на RISC.
Почему мы решили так сделать? Миграция сама по себе связана с рисками, которые мы не могли допустить. Ряд mission-critical систем выдерживают нужные параметры работы только на RISC — здесь стабильность этих систем оказывается выше. При соизмеримых конфигурациях RISC- и x86-машин наша АБС и базы Oracle демонстрируют большую производительность на первых. Наконец, RISC позволяет меньше тратить на обслуживание, что для банковской сферы также важно. Да и вообще доверять третьим лицам внутренние business-critical сервисы для миграции не позволит ни суровый отдел безопасности, ни законодательство.
Частное облако не только способно принять на себя существующие mission-critical системы, но и обладает широкой функциональностью в работе с системами на основе RISC. Раньше процесс разворачивания тестовой или промышленной системы под описанные выше задачи занимал долгие месяцы планирования, закупки и введения оборудования в эксплуатацию. Теперь инженер в несколько кликов мыши может получить, к примеру, новый кластер Veritas Infoscale из двух пар LPAR с конфигурированием ресурсных групп под DR-сценарий. И таких гибких шаблонов и сценариев в облаке десятки, от выделения простой виртуалки или физического сервера под конкретную задачу, до разворачивания кластера на требуемой технологии.
Конечно, от x86 никто не отказывался, огромное количество задач по-прежнему решается на x86-системах. Облако имеет единый портал самообслуживания на базе технологий и продуктов HP и является единой точкой входа для управления как x86-, так и RISC-системами.
Что общего у ВТБ и IBM Watson?
Ядром облачной системы стали серверы IBM Р1-80А, сердцем которых является процессор POWER8 от IBM. Такие серверы IBM использует в своем суперкомпьютере Watson. Их ключевое преимущество — большое количество ядер и поддержка SMT8, аналога Intel Hyper-threading. Сервисы, хорошо работающие в параллельной нагрузке, отлично чувствуют себя на базе систем с этими CPU.
В каждом сервере установлено 16 процессоров POWER8 с тактовой частотой 4,02 ГГц, по 4 процессора на системную ноду. Каждый процессор имеет 12 ядер, что в сумме дает 192 ядра на сервер. С целью эффективного использования процессорных ресурсов физические сервера Р1-80А объединены в Power Enterprise Pool, а также используется схема лицензирования Mobile Capacity on Demand (CoD). В каждом сервере установлено 8 Тб оперативной памяти. Встроенная дисковая подсистема представлена носителями SSD 24x387GB SFF в полке расширения. Для запуска и функционирования приложений применяются технологии виртуальных партиций (LPAR), а для миграции виртуальных разделов между физическими серверами — технологии Live Partition Mobility.
Для нас большим преимуществом при заключении контрактов на внедрение и поддержку стало то, что поставщики оборудования — из России. Наш партнер — российская компания Yadro, которая активно внедряет решения на базе RISC-архитектуры и имеет все необходимое для работы с нашей отечественной криптографией (что критично для банков). Yadro — это первый OEM-партнером IBM в России, который имеет необходимые сертификаты по сборке вычислительных систем и СХД на базе их решений.
Миграция
Развертывать облачную систему на RISC было непростой задачей — насколько нам известно, до нас в России на таком уровне этого никто не делал. Процесс переезда начался летом 2017 года и идет сейчас полным ходом. Мы внимательно все спланировали, чтобы перенос никак не отразился на работе наших сервисов. Работа в самом разгаре: миграцией затронуто более 60 различных IT-систем.
Подходим ко всему осторожно. Активно задействуем тестовые прелайв-среды, лишний раз не экспериментируем с переходом на x86. По ходу миграции перешли на более новые поколения процессоров POWER и версии СУБД Oracle, а также в качестве внешних хранилищ данных стали использовать массивы с носителями FMD и SSD. Отказались от HP UX и SPARC. В целом, уменьшили количество вендоров и типов оборудования, ушли с end-of-life платформы.
Прогресс
По итогам апгрейда и миграции собрали статистику по ряду критичных систем. Так в централизованной автоматизированной банковской системе (ЦАБС) «Новая Афина» уменьшилось время прохождения рублевого платежного поручения. Раскладываем по этапам бизнес-процесса:
- Автоматическая обработка из ДБО — со 107 мс до 32 мс;
- Чтение — с 88 мс до 20 мс;
- Обработка картотеки — с 158 мс до 31 мс.
Кроме того, для большинства процедур расчетной системы скорость выполнения выросла в 2 раза. Среднее время обработки одного документа уменьшилось с 92 до 84 сек.
Наконец, система для обслуживания юридических и физических лиц Мбанк тоже показала заметный прогресс: время обработки одной транзакции филиала в Новосибирске снизилось с 464 до 227 с, в Екатеринбурге — со 179 до 130 с.
Отказоустойчивость и выводы
При проектировании облака были учтены требования по катастрофоустойчивости (DR), облако развернуто на двух географически разнесенных площадках. Геобалансировка фронтенд-нагрузки осуществляется с помощью платформы BigIP F5. Disaster Recovery на уровне систем хранения реализуется посредством технологии HDS Global Access Device (GAD), с арбитром кластера на третьей площадке. Каждый LUN, выдаваемый на хост, при необходимости реплицируется на оба сайта и имеет независимые пути с массивов, расположенных на разных площадках.
Сейчас внедрение облака идет полным ходом. В результате переезда мы планируем получить еще более надежную систему для обслуживания задач группы ВТБ, немного дополнительных седых волос у ответственных инженеров и весьма ощутимую экономию в финансовом плане. При этом уже сегодня облако позволяет повысить мощность вычислительных систем на базе RISC, добавляет возможности масштабирования высоконагруженных и критичных систем и облегчает миграцию существующих сервисов со standalone RISC-платформы на новую – гибкую, масштабируемую, отказоустойчивую.
Комментарии (40)
begemoth3663
05.02.2018 18:49Ядром облачной системы стали серверы IBM Р1-80А, сердцем которых является процессор POWER8 от IBM.
а как же эльбрус? а как же байкал? а как же государственная программа "импортозамещения" в банке, в котором государству принадлежит более половины?..
что общего у ВТБ и IBM?.. ;)
Viacheslav01
05.02.2018 19:52Сдается мне, Эльбрус это про шашечки, а IBM это про ехать.
begemoth3663
05.02.2018 20:46ну, если поддерживать экономику "вероятного противника", то "шашечки" никогда не "поедут"…
это в т.ч. к вопросу об иезуитстве властей.Viacheslav01
05.02.2018 22:45+1Ну можно в них влить дохреналион бабла, они от этого все арвно не поедут, но всместе с ним перестанет ехать еще и то, что они должны были везти.
erwins22
05.02.2018 19:58Сдается мне, что откат от IBM был большой, а Эльбрус заставили бы работать по себестоимости.
Yo1
05.02.2018 21:08пропретарная умирающая платформа, которую оракл люто ненавидит и на которую устанавливает особенно неадекватные цены. причем уже понятно, что после суда по MH17 обрубят из штатов санкциями уже в этом году.
весь мир на x86 облака и открытые системы типа хадупа пересаживается, а эти без пяти минут санкции на пропретарные системы все глубже зарываются.
глупо.khim
05.02.2018 23:55пропретарная умирающая платформа, которую оракл люто ненавидит и на которую устанавливает особенно неадекватные цены.
Это вы про x86? По моему Oracle ненавидит все платформы кроме Sparc'а, но — открытая платформа. Лицензии на ядра выдаются (и XBox360 и PS3 имели свои собственные реализации), лицензия на архитектуру — тоже. Уж всяко лучше, чем x86…
весь мир на x86 облака и открытые системы типа хадупа пересаживается, а эти без пяти минут санкции на пропретарные системы все глубже зарываются.
Хадуп — ладно, но x86 — это, собственно, единственная популярная платформа, являющаяся при этом проприетарной и, соответсвенно, подверженной ограничениям и санкциям. Всего два с половиной реальных поставщика, лицензии не выдавались уже лет 15… вы точно уверены, что если бороться с санкциями нужно именно туда лезть?
Так-то понятно, что на RISC-V нужно переходить — но он пока не готов, лет через 5 поспеет.Yo1
06.02.2018 10:03на x86 у оракла коэффициент 0.5, спарк и power в двое дороже. по открытости — брехня, на PS был cell, на xbox powerpc. свои реализации — фантазии.
по x86 никто не сможет забанить, тучи азиатских производителей которые тебе все что угодно привезут, чихая на санкции. а открытость x86 оказалась достаточной, что бы эльбрус реализовал режим эмуляции x86.
OlehR
06.02.2018 13:32Есть практический опит работи с oracle на power и x86. так вот оракл уж слишком сильно пепреценил ядро x86 :) его реальний коефициет -0.2-0.3 к POWER и вопрос не в самом процесоре/ядре а в платформе в целом.
Yo1
06.02.2018 16:35вы просто готовить не умеете. те же экзадаты у оракла на x86
OlehR
06.02.2018 16:59Вопрос в производительности БД на ядро, которое лицинзируется. Да и никто не сомневается что exadata, которая проектировалась под Оракл и будет имень очень хорошую производительность. К сожелению с exadata не работал. То если условно нужна производительность X то POWER + Лицензии oracle будет дешевле чем exadata + Лицензии oracle
Yo1
06.02.2018 18:07если взять specint, то современный x86 без малого в двое более производительней Power8. 12 ядер x86 показывают тот же результат что 20 ядер Power8:
www.spec.org/cpu2006/results/res2018q1/cpu2006-20171212-51233.html
www.spec.org/cpu2006/results/res2015q4/cpu2006-20151002-37621.htmlkhim
06.02.2018 18:4012 ядер x86 показывают тот же результат что 20 ядер Power8:
Именно.
www.spec.org/cpu2006/results/res2018q1/cpu2006-20171212-51233.html
www.spec.org/cpu2006/results/res2015q4/cpu2006-20151002-37621.html
если взять specint, то современный x86 без малого в двое более производительней Power8.
Вы это… всёрьез? Нет, это… у меня просто нет слов!
Вы сами, собственноручно откопали ссылки, которые показывают, что POWER8 рвёт x86, «как тузик грелку»… и после этого вы говорите, что x86 производительнее?
Что вы курите и почему не делитесь.
P.S. Это уже второе дно, которое вы пробили — индересно, сколько их будет ещё…Yo1
06.02.2018 18:47чудик, сосредоточься. 12 ядер x86 показали тот же результат, что 20 ядер Power8. в терминах оракла для x86 с кофециентом 0.5 надо было бы 6 cpu лицензировать, Power8 20 cpu. Power8 сливает более чем в 3 раза.
khim
06.02.2018 19:10чудик, сосредоточься.
Мегарекомендация. Для вас.
12 ядер x86 показали тот же результат, что 20 ядер Power8.
Я осознавал, что ваша компетенция… не слишков высока, но чтобы настолько???
SPEC CPU2006 — это однопоточный тест. Читаем по губам: один. Не 12. Не 20. Один. А это значит, что Xeon у вас работал на более чуть более высокой частоте (там же указано: до 3.70 GHz Xeon, 3.49 GHz POWER8) — и показал паритет.
Что будет, если загрузить все ядра? Шашлык будет: Turbo Boost частоту снижает куда заметнее, чем POWER8 в этих случаях. Вот тут это проверяли. То есть мало того, что под реальной нагрузкой у вас будет каждое ядро Xeon'а медленнее в 1.5 раза — так ещё и ядер этих 12, а не 20! А потоков — так и вообще 160 против 24!
Вы уж извините, но по чистой скорости x86 и POWER — вообще железки с разных планет. Вот энергоэффективность там, возможность поставить Windows, рабочие станции на той же архитектуре, что и сервер, всё такое — это да, тут x86 выигрывает. Но чистая скорость? x86 совсем в другом классе. Даже близко к POWER не приближается.
Power8 сливает более чем в 3 раза.
Дно номер 3 пробито. Копаем дальше?khim
06.02.2018 19:43Что будет, если загрузить все ядра? Шашлык будет: Turbo Boost частоту снижает куда заметнее, чем POWER8 в этих случаях.
Ещё раз посмотрел на вашу ссылку. Извиняюсь, этого эффекта таки не будет: в обоих случаях была полная загрузка и так. То есть Turbo Boost уже и так снизил всё, что мог.
Но тот факт, что SPEC CPU всегда меряет производительность одного ядра это не отменяет…
Yo1
06.02.2018 19:46ну ты деревня. ссылки ведут на specint rate тесты. rate тут ключевое слово:
For the SPECrate metrics, multiple copies of the benchmarks are run simultaneously. Typically, the number of copies is the same as the number of CPUs on the machine, but this is not a requirement. For example, it would be perfectly acceptable to run 63 copies of the benchmarks on a 64-CPU machine (thereby leaving one CPU free to handle system overhead).
www.spec.org/cpu2006/Docs/readme1st.html#Q15
дно пробито, согласен. но с такими познаниями лучше не копать.khim
06.02.2018 19:59ну ты деревня. ссылки ведут на specint rate тесты. rate тут ключевое слово:
Замечание принимается. Собственно я это и сам заметил и уже отписался.
дно пробито, согласен. но с такими познаниями лучше не копать.
Ну вашему умению делать ссылки, которые опровергают ваши же слова можно только позавидовать, мне такого никогда не добиться. Чуть ниже вашей цитаты: Note: a speed run which uses a parallelizing compiler to distribute one copy of a benchmark over multiple CPUs is still a speed run, and uses the SPECspeed metrics. You can identify such runs by the field «Auto Parallel» (выделения мои).
Что там на ваших ссылках? Есть поле «Auto Parallel»? «Auto Parallel: No»? Значит мы всё ещё меряем производительность одного ядра. Просто SPECspeed меряет его на системе, где загружено одно ядро, а SPECrate — на системе, где они загружены все.Yo1
06.02.2018 20:32не надо мне завидовать, надо получить базовое образование, а потом спорить со специалистами. твоя цитата про «speed run», я же дал ссылку на другой тест, на spec rate. spec rate мериет не скорость, а throughput.
OlehR
06.02.2018 19:17Как говорят есть правда ложь и
статистикатесты. По каждому из тестов power показал в 3-4 кратное превосходство. + вопрос в качестве паралелизма в етих тестах. Ну и главное какое отношение ети тести имеют к производительности БД? Я писал что платфома имеет значение а не только сами ядра проца.
Для примера. У нас был RAC с друх 2 сокетних x86 в каждом 4 реальних ядра (8- гипертрейдинг) 2*2*4 =16 ядер.
После перехода на 8 ядер power (Пез измений ПО, хранилища и версии БД) система стала на много отзивчивее. (без дополнительного тюнинга) После тюнинга прекрасно себя чувствовала на 4 ядрах. Я понимаю что прошло время и сейчас 20 ядер в сокете и тд… но не думаю что соотношение ядер сильно поменялось.khim
06.02.2018 19:51Ну и главное какое отношение ети тести имеют к производительности БД?
Там разбивка по подтестам есть. База данных — это скорее работа с памятью как в 429.mcf, чем нагрузка на предсказатель ветвлений как в 458.sjeng. Но в любом случае, даже если принять что одноядерная производительность одинакова, то полная — нет. Сравниваются по однопоточной производительности «лёгкий» сервер на основе x86 и «тяжёлый» на POWER — а чем больше у вас ядер, тем сложнее сохранить на приемлемом уровне скорость одного из них!
После перехода на 8 ядер power (Пез измений ПО, хранилища и версии БД) система стала на много отзивчивее. (без дополнительного тюнинга) После тюнинга прекрасно себя чувствовала на 4 ядрах.
Ну дык IBM этим всегда и брал. Его мейнфреймы дают чисто вычислительную производительность вообще смешную… но вот отзывчивость при работе многих клиентов… дело другое…
Yo1
06.02.2018 20:38невероятно. не ужели RAC гоняющий террабайты по сети мог проиграть односокетной машине?
есть правда, есть ложь и люди не понимающие примитивных вещей…OlehR
07.02.2018 09:43Во времена когда RAC был актуален специалисты оракл озвучивали цифры
ноди Производительность относительно одной ноди
2 — 160%-180%
3 — 200%-240%
4- 240%-260%
При большем количестве смисл вообще терялся.
Поетому одна машина на power действительно лучше 2 нодовой x86 конфигурации.Yo1
07.02.2018 10:49ну это вам криворукие шпециалисты попались. потери там есть, но не столь заметные. у sap-sd parallel есть тесты на 2, 4, 6 и 8 нод rac на Sun Fire X4800. 8 нод 370% от 2х нод.
www.sap.com/about/benchmark/appbm/erp.sap-sd-parallel-standard-application-with-round-robin.html#sap-sd-parallel-standard-application-with-round-robinOlehR
07.02.2018 18:50Такие результаты можно получить только когда ноды не конкурируют за блоки. Чем больше нод тем большая конкуренция. В OLTP системах с етим беда. Я понимаю что ERP ето больше OLTP система — но она очень модульная. Если вручную разносить задачи по нодам в принцепе возможно наверное. Но и главное RAC ето уже екзотика.
Yo1
07.02.2018 20:04такие результаты получают с прямыми руками. за железным занавесом может RAC экзотика, в европе и сша крупняк без RAC/экзадаты не встретишь уже. оракл еще лет пять назад рапортовал, что половина дохода с новых лицензий от RAC инсталляций.
опять же ставка оракла на экзадату с тем самым RAC, если бы там у всех были бы такие потери, как у вас криворукие имеют, то экзадата давно бы издохла.
khim
06.02.2018 14:25по x86 никто не сможет забанить, тучи азиатских производителей которые тебе все что угодно привезут, чихая на санкции
Вы уж определитесь — то ли вам «всё что угодно привезут, чихая на санкции», то ли «после суда по MH17 обрубят из штатов санкциями уже в этом году». Ибо как раз POWER лицензируется в виде Verilog'а, который можно через любые санкции провезти (СССР возил), а вот x86 — производится на весьма ограниченном числе заводов и приходит «в комплекте» со своей собственной закрытой операционкой. Теоретически её можно и выключить, но сам факт её наличия много говорит от «открытости» платфгрмы.
по открытости — брехня, на PS был cell, на xbox powerpc. свои реализации — фантазии.
Вообще-то на XBox360 был Xenon, а «пеклись» они, по большей части, в Сингапуре — и вовсе не IBM. Может перестать уже натягивать сову на глобус?Yo1
06.02.2018 16:18во первых Power не лицензируется, лицензируется никому не интересная херь по мотивам Power. никакой гарантии что эта херь сможет посоревноваться с имеющимся эльбрусом нет, посему никому в голову не пришло эту херь (openpower) в железо воплотить.
x86 производят на столько много, отгружают на столько многим, что выключить не получиться. Power запросто, x86 никак.
xbox360 пекли на PowerPC 970.
надо натягивать жулье, что спускает чужие деньги на хрень, которая как и в истории с турбинами сименс гарантированно выйдет боком. они прекрасно понимают чем это закончится, ВТБ уже в санкционных списках.
гнусно.khim
06.02.2018 18:21во первых Power не лицензируется, лицензируется никому не интересная херь по мотивам Power.
Если Power не лицензируется, то как, я извиняюсь, Microsoft могла выпускать свой процессор с дополнительными мощностями в Сингапуре?
xbox360 пекли на PowerPC 970.
PowerPC был лицензирован, но потому Microsoft довольно сильно его модифицировала. А вот с x86 — так не получится.
никакой гарантии что эта херь сможет посоревноваться с имеющимся эльбрусом нет, посему никому в голову не пришло эту херь (openpower) в железо воплотить.
Ещё и Эльбрус туда же. Эльбрус — это вообще игрушка чисто для военных, по скорости он ни с POWER8, ни с x86 соревноваться не может. Я с человеком, который этим Эльбрусом когда-то занимался сижу в одной комнате, уж поверьте, если бы там речь действительно шла о суперпроизводительности деньги на него бы нашлись. А так — можно написать цикл в одну инструкцию, да — но только руками, компиляторы ничего подобного и близко не генерят. В общем см. Itanic дубль два (или три… или пять… смотря как считать — с учётом iAPX432 и i860 или нет).
надо натягивать жулье, что спускает чужие деньги на хрень, которая как и в истории с турбинами сименс гарантированно выйдет боком
Google и Nvidia — у вас тоже жульё?
x86 производят на столько много, отгружают на столько многим, что выключить не получиться
То же самое говорили про VAX'ы лет 20-30 назад — надаром и в Drystone и в SPEC CPU использовали VAX 11/780 в качестве эталона (кстати эталоном оно было и в СССР — серия СМ)… Ну и где они сейчас?
Для гарантий и борьбы с санкциями нужна открытая (или контролируемая вами) архитектура — это аксиома. Тут x86 — никаким боком.
Если ещё про производительность и прочее можно спорить, то в вопросах санкций x86 — самай паршивый вариант, какой только можно придумать.Yo1
06.02.2018 20:51если Power не лицензировался, значит майкрософт ничего не модифицировала, а получала с фабрик IBM обычные PowerPC 970, такие же как получал apple.
эльбрус не фонтан, да, но кто сказал что openpower хоть в чем-то лучше?
google и nvidia не находятся под санкциями сша им никто не обещает тотальную блокаду. понимаете в чем отличие?
только интел в неделю выпускает больше x86 чипов, чем VAX за всю историю и отследить все эти миллиарды чипов не реально. поэтому угрозы остаться без x86 нет, а вот Power вырубят запросто. и будет ситуация сисменс #2Kobalt_x
07.02.2018 19:37Ага кончено получала, ничего что в ящике APU т.е gpu с CPU на 1 чипе, а в PPC 970 нет?
vlanko
07.02.2018 22:45Xenon все же ближе к Power5/6, чем к старому 970.
и он совсем не лицензировался — полностью разрабатывался IBM
InoMono
08.02.2018 18:48поэтому угрозы остаться без x86 нет, а вот Power вырубят запросто. и будет ситуация сисменс #2
Ну вот когда гром грянет тогда и будем креститься.
А прямо сейчас есть возможность эксплуатировать в разы более эффективный RISC.
Какая разница сейчас переводить на x86 приложения или когда гипотетические RISC закроют санкциями?
И что случиться? По кнопке отключат процессоры уже проданные?
Переезд нервы потрепит конечно. Но если сегодня можно эксплуатировать лучшее решение то зачем вы бежите впереди паровоза и предлагаете отказаться от RISC уже сейчас, до санкций? В чем тайный смысл?
Yo1
08.02.2018 20:08уже случилось, новые лицензии втб от оракла уже не получит. тайный смысл в санкциях которые уже ударили.
креститься надо было когда гром грянул. много лет назад, а теперь надо выбрать кто ответит за глупые решения. платформа слабая, выше я показал тесты spec_rate где power8 почти в двое уступает x86. зачем было выбирать более слабую и менее любимую ораклом платформу? ведь и патчи оракл с огромной задержкой под эту платформу выпускает. через какого индуса теперь втб доставать будет патчи для этой полумертвой платформы? но главное кто ответит за столь прогнозируемый финал?
Yo1
08.02.2018 10:20оракл первый, ibm будет вторым:
Oracle ужесточила условия предоставления продуктов и услуг российским клиентам из нефтегазовой отрасли, включенным в американский санкционный список, пишет газета «Коммерсант» со ссылкой на письмо компании от 12 января.
РИА Новости ria.ru/economy/20180208/1514199450.html
SparkleMan
Интересная статья)
Жаль у YADRO нет открытых цен на сайте)