Электроэнергию потребляет как жилой сектор, так и многочисленные промышленные предприятия. Применение биллинговой технологии расчетов и приема платежей позволяет сократить время обслуживания клиентов, а также оперативно получать информацию о поступивших платежах. Юрлица же могут автоматизировать расчеты за электроэнергию. На чем этот весь софт работает? Какие серверные мощности необходимы для ежемесячной обработки показаний миллионов электросчетчиков? Ведь именно на них рассчитывается, сколько вы должны заплатить за потраченную за последний месяц электроэнергию, какие цифры окажутся в полученном вами и миллионами других потребителей счете за электричество. Об этом пойдет речь ниже.

Немного истории

Более 80 лет тому назад в Советском Союзе появилась независимая хозрасчетная организация «Энергосбыт» — часть известного треста «Московское объединение электростанций государственного типа». В то время энергосистема Москвы была рассчитана всего на 150 000 абонентов.

В 1959 году в процессе перестройки системы электрообслуживания в СССР массово вводилась эксплуатация счетчиков и другого контролирующего оборудования. Так появилась и необходимость обслуживания подобной техники и вычислительного оборудования, для чего в «Энергосбыте» был создан специальный цех.

Как самостоятельная энергосбытовая компания ПАО «Мосэнергосбыт» начала свою деятельность в 2005 году после выделения из состава ОАО «Мосэнерго». Являясь правопреемником «Мосэнерго», она поставляет электрическую энергию физическим и юридическим лицам в Москве и области.


«Мосэнергосбыт» осуществляет энергоснабжение потребителей с оптового и розничного рынков. Годовой объем реализуемой электроэнергии превышает 82 млрд кВт*ч (8% вырабатываемой в РФ электроэнергии).

Дата-центр

Бизнес энергетических компаний предъявляет особенно высокие требования к ИТ. Это касается и коммерческих расчетов, и управления предприятиями, и технологических процессов. В 2010 году «Мосэнергосбыт» реализовал комплексный проект по созданию отказоустойчивого масштабируемого центра обработки данных, обеспечивающего работу наиболее критичных бизнес-приложений. Создание нового единого ЦОД для централизованного обслуживания всех бизнес-приложений потребовалось связи с увеличением объема данных.


Дата-центр компании «Мосэнергосбыт», как и положено ЦОД, отвечает техническим требованиям к эксплуатации серверного оборудования и другой ИТ-инфраструктуры. Кроме того, в нем заложены возможности роста.

Сейчас клиентская база компании включает более 7,2 миллиона абонентов: 279 тыс. юридических лиц (в т.ч. за пределами Московского региона) и свыше 7 млн. бытовых потребителей. Обслуживание клиентов на территории свыше 47 тыс. кв. километров осуществляют более 100 клиентских офисов. Один только биллинг при таком числе клиентов превращается в весьма масштабную задачу. Логично, что без надежного ЦОД в этом случае не обойтись.

ЦОД «Мосэнергосбыта» размещается в Москве на ул. Вавилова ул. 9 — в том же здании, что и ее офис. Сейчас он насчитывает 29 стоек. Дата-центр строился для централизации сетевой и вычислительной инфраструктуры, развертывания выделенной сети хранения данных (SAN).

Его создание позволило «Мосэнергосбыту» отказаться от серверных помещений в удаленных офисах компании, а также упростило внедрение биллинговых систем. Кроме того, компания получила все преимущества современных ЦОД в виде промышленного кондиционирования, отказоустойчивого электропитания, пожарной безопасности. Снизились риски простоев и потерь при возникновения различных экстренных ситуаций.

В системах кондиционирования и бесперебойного электроснабжения были учтены не только текущие, но и будущие потребности. И конечно, резервирование компонентов инженерных систем обеспечит работоспособность ЦОД, если что-то вдруг выйдет из строя. При аварии в электросети с энергообеспечением справятся пять ИБП и два дизель-генератора.

Деньги любят счет

Слово «биллинг» знакомо многим. Это комплекс процессов и решений, ответственных за сбор информации об использовании услуг, их тарификацию, выставление счетов клиентам, обработку платежей.

«Мосэнергосбыт» как энергосбытовая компания отвечает за расчеты с потребителями электроэнергии в Москве и области. Для этого собирается и обрабатывается большой объем данных, таких как показания счетчиков. В расчетные периоды потребители получают калькуляцию для оплаты услуг энергоснабжающей организации согласно тарифам. На предприятии применяется автоматизированный способ начисления и учета платежей.


«Биллинг» применительно к данной сфере деятельности, означает единую систему лицевых счетов, которая позволяет учитывать автоматически оплату услуг за ЖКУ. Такой учет возможен благодаря программному продукту «Программный комплекс учета ЖКУ», установленному у контрагентов, где чаще всего оплачиваются услуги ЖКХ (на почте, в Сбербанке, в некоторых других банках). Эти данные стекаются в ЦОД для дальнейшей обработки. Вся выгрузка данных идет напрямую по сети. В перспективе ресурсоснабжающие организации смогут автоматически запрашивать информацию по оплате своих услуг.


Для повышения качества обслуживания клиентов (как физических, так и юридических лиц) была внедрена новая биллинговая система на платформе Oracle Utilities Customer Care & Billing. Применение новой технологии расчетов и приема платежей от физических лиц сократило время обслуживания, позволило оперативно получать сведения о поступивших платежах и автоматизировать расчеты за электроэнергию. Новая информационная система повысила прозрачность операций и помогла расширить спектр услуг.

За последние несколько лет «Мосэнергосбыт» развернул целый комплекс новых решений: Oracle Database, Real Application Clusters (RAC), Partitioning, WebLogic Server, Business Intelligence, продукты Oracle Service Bus, Weblogic Suite и GoldenGate.

Были закуплены лицензии и услуги техподдержки Oracle для обслуживания СУБД в рамках проекта «Единый биллинг юридических лиц для сбытовых компаний группы «Интер РАО». Также были закуплены лицензии на решения Oracle Business Intelligence Foundation Suite, Oracle Utilities Customer Analytics и Oracle Utilities Credit and Collection Analytics, услуги техподдержки. Это ресурсоемкие приложения, требующие надежных и производительных ИТ-платформ.

Унификация «железа»

С момента постройки нового ЦОД «Мосэнергосбыта» в нем функционировало около 120 физических серверов и систем хранения данных разного класса: высокопроизводительные системы Fujitsu M9000, Sun, Hitachi USPV, Fujitsu Eternus, мощные SPARС-платформы. В основном это крупные вычислительные комплексы. В результате унификации и модернизации данного парка унаследованного оборудования в ЦОД сейчас используются системы Lenovo, IBM и Cisco, а также Oracle Exadata и Exalogic. С аналитическими нагрузками справляется сервер IBM Power 770.

Большинство серверов х86 виртуализировано, причем в компании перешли со среды виртуализации Citrix XenServer, обслуживающей порядка 340 виртуальных машин, на систему виртуализации VMware VSphere 6.

Сейчас ЦОД «Мосэнергосбыта» осуществляет программу перехода на новые хост-системы виртуализации. Их роль будут выполнять стоечные 2U серверы Lenovo SR650, которые призваны заменить существующие блейд-решения IBM BladeCenter H, IBM Flex System Chassis и Dell PowerEdge M1000e. Как пояснили в компании, им более не требуется высокая плотность вычислительных ресурсов, которую предоставляют модульные шасси, и их было решено заменить классическими стоечными серверами, которые в современном исполнении поддерживают до 56 ядер и 3ТБ RAM на 2-процессорную систему и являются более универсальными.


Двухпроцессорные 2U стоечные серверы Lenovo ThinkSystem SR650 используют средние и крупные корпорации, а также операторы, предоставляющие клиентам облачный сервис. Это одна из самых востребованных моделей своего класса — масштабируемая и универсальная.

«Мосэнергосбыт» планирует постепенно переходить от блейд-платформ к обычным стоечным серверам с более дешевыми компонентами. По мере вывода из эксплуатации старых модульных систем они будут заменяться на новые стоечные серверы.

Для массивных баз данных в ЦОД используются системы корпоративного класса Lenovo System x3950X6 и Lenovo SR950, объединенные в кластер Oracle RAC по интерконнекту Infiniband 40 Гбит/с. Инстансы СУБД Oracle под общим управлением одновременно выполняются на нескольких объединенных в кластер системах. Опция Real Application Clusters (RAC) позволяет строить отказоустойчивые и хорошо масштабируемые серверы баз данных.


Мощности можно наращивать «по требованию». Проблемы пиковых нагрузок не возникает — кластер из 8-процессорных серверов на 18-ядерных процессорах Xeon E7v4 вполне справляется со своими задачами поддержки весомой части биллинговых систем. В «Мосэнергосбыте» считают, что поддерживать такую конфигурацию на процессорах Power было бы на порядок дороже.

Для поддержки внешних сервисов компания применяет балансировщики Citrix Netscaler. Они же служат для доставки и публикации приложений терминальных сред и выполнения ряда других задач. С помощью коммутаторов SAN от Lenovo (OEM-продукция на базе коммутаторов компании Brocade) серверы и СХД объединены сеть в хранения данных 16 Гбит/с.

Основные системы биллинга «Мосэнергосбыта» функционируют на серверах x86 и флэш-массивах. Системы загрузки показаний счетчиков, платежные системы и системы биллинга работают и на других платформах. Постепенно их планируется переносить на стандартные серверные платформы. Это позволит унифицировать используемое оборудование и услуги технической поддержки, поскольку заключается единый контракт на закупку и обслуживание оборудования у одного производителя.

Процесс перехода критически важных систем на новую аппаратную платформу требует аккуратного подхода: новые серверы х86 в «Мосэнергосбыте» поэтапно развертывают в течение трех последних лет.

Большое количество стандартных стоечных серверов с относительно небольшим объемом оперативной памяти выгоднее с точки зрения виртуализации и помогает соблюдать SLA. В проекте используется принцип полного дублирования ИТ-систем, но резервной площадки пока не предусматривается.

Чтобы «обкатать» новые системы, «Мосэнергосбыт» сначала запускает серверы в опытную эксплуатацию в течение двух-трех месяцев. В случае возникновения неисправностей, вендор занимается их исправлением, и уже потом эти серверы используются как рабочие системы, «продуктив».

Модернизация СХД

Модернизация ИТ коснется и СХД. Особое внимание уделяется твердотельным накопителям. Этим летом будут поставлены новые флэш-системы. В частности, это системы Lenovo DS6200, где вместо дисков установлены флэш-накопители (SSD) того же форм-фактора. Они будут использоваться для разработки и «обкатки» нового программного обеспечения «Мосэнергосбыта» перед запуском в эксплуатацию. Для таких задач не требуется сверхвысокая производительность, однако система все же должна обладать достаточным быстродействием. Прежние флэш-системы от IBM применялись компанией также в задачах виртуализации.

Унаследованный массив IBM Storwize «Мосэнергосбыт» использует для резервного копирования. Имеющиеся в компании СХД от IBM дополнила система хранения данных в корпусе 2U для ресурсоемких нагрузок — Lenovo Storwize V3700 V2. Она рассчитана на 24 (2,5") или 12 (3,5") накопителей и позволяет организовать хранилища, обеспечивающие обработку больших объемов данных. Эта модель также поддерживает функции миграции данных.

Системы биллинга «Мосэнергосбыта» обслуживают не только Москву и область, но и регионы России. Учитывая, что компания продолжает развиваться и расширяться, к ней присоединяются новые организации, для биллинга потребуются более серьезные мощности.

P. S. Если вы хотите подробнее узнать о возможностях оборудования Lenovo для организаций, работающих в разных областях, включая энергетику, обращайтесь к Марату Ракаеву mrakaev@lenovo.com. Наши специалисты и широкий портфель продуктов для дата-центров помогут решить практически любую задачу.