Коротко о ЕРИС
ЕРИС (Единый Радиологический Информационный Сервис) представляет собой информационную систему, объединяющую высокотехнологичную медицинскую технику, рабочие места рентгенологов и единый архив диагностических изображений. В настоящее время ЕРИС объединяет магнитно-резонансные, цифровые аппараты классического рентгена, аппараты для проведения флюорографии и компьютерные томографы в 64 поликлиниках города Москвы, включая амбулаторные учреждения Зеленограда.
Основные задачи ЕРИС — повысить эффективность лучевой диагностики в Москве, создать единую сеть, объединяющую диагностическую аппаратуру, обеспечить современную и надежную систему хранения получаемых в результате исследований изображений, описаний и заключений.
Необходимость применения криптошлюзов
Так как в информационной системе ЕРИС обрабатываются персональные данные пациентов, то необходимо выполнять требования ФЗ-152 «О персональных данных» и подзаконных актов, связанных с этим законом. Одним из требований по защите персональных данных является организация защищенных каналов связи с помощью средств криптографической защиты информации (СКЗИ). В соответствии с этим требованием мы приступили к проектированию системы защиты персональных данных в целом и СКЗИ в частности.
Критерии выбора, схема тестирования, пилот, финальный выбор
Нашей компании Элефус Заказчик в лице компании Лаваль выдвинул ряд требований, которым должны были соответствовать СКЗИ, среди них основные:
- задержки в канале (это был самый важный критерий, потому что медицинский персонал с помощью клиентского приложения на рабочем месте подключается к серверной части в ЦОДе, и задержки в канале сильно влияют на производительность системы и скорость работы с пациентом);
- наличие сертификата ФСБ России на криптосредства (требование нормативных документов, касающихся защиты персональных данных (Приказ ФСБ №378 от 10 июля 2014 г. «Об утверждении состава и содержания организационных и технических мер по обеспечению безопасности персональных данных при их обработке в информационных системах персональных данных с использованием средств криптографической защиты информации, необходимых для выполнения установленных правительством Российской Федерации требований к защите персональных данных для каждого из уровней защищенности»));
- масштабируемость решения (предполагается расширение системы на дополнительные объекты, поэтому мы изначально должны были заложить оборудование с запасом и возможность масштабирования как горизонтального, так и вертикального);
- отказоустойчивость (если вы были в московских поликлиниках, то прекрасно знаете, что очередь в радиологические кабинеты всегда присутствует, поэтому немаловажным фактором было обеспечение отказоустойчивости решения);
- достаточная производительность (в радиологические кабинеты необходимо было установить оборудование небольшой производительности, но достаточное, чтобы обеспечить хороший канал связи до ЦОД, нашим ориентиром была полоса пропускания в 20 мб/с);
- мониторинг (так как инфраструктура распределена по всей Москве, необходимо обеспечить постоянный мониторинг оборудования и отслеживать нагрузки на сеть);
- простота обслуживания (выезд на объекты осуществляют инженеры широкого профиля, которые, не обладая глубокими познаниями в ViPNet (потому что это не является их основной задачей), должны решить проблему на месте по инструкции).
Тестировались четыре продукта:
- ViPNet Coordinator;
- АПКШ «Континент»;
- КриптоПро IPsec;
- МагПро КриптоПакет исполнение «OpenVPN-ГОСТ»
Мы выбрали самые популярные и хорошо себя зарекомендовывавшие программно-аппаратные решения (Континент и ViPNet) и чисто программные решения (КриптоПро и МагПро). Не предполагалась установка дополнительного ПО на компьютеры радиологического кабинета, потому что зачастую для взаимодействия с радиологическим оборудованием требуются очень специфические и старые версии операционных систем и специального программного обеспечения. Поэтому защиту канала связи необходимо было разместить на пограничном сетевом оборудовании. Рассматривались две схемы установки СКЗИ: установка на периметре программно-аппаратного оборудования (Континент и ViPNet), либо установка компьютера, выступающего шлюзом для радиологического кабинета, на который будет установлено СКЗИ (КриптоПро и МагПро). С точки зрения затрат, эти варианты оказались сопоставимы, так что изначально ПАКи были предпочтительнее, потому что более просты в обслуживании.
Схема тестирования была следующая:
Рисунок 1 — Схема тестирования
В ходе тестирования передавались снимки трех типов: КТ, ММГ, ПЭТКТ (они отличаются размерами файлов, частотой взаимодействия клиент-сервер), различные варианты снимков позволили смоделировать различные типы нагрузок на криптошлюзы. Замеры задержек и скорость в канале производились программами WinMTR и iperf3.
По результатам тестирования Континент и ViPNet оказались в лидерах, их результаты были сопоставимы, КриптоПро отставал незначительно, а МагПро сильно влиял как на скорость, так и на задержки в канале.
Дальше после взаимодействия с вендорами Заказчиком было принято финальное решение в пользу ViPNet. Оставим финальный выбор за скобками данной статьи, с технической точки зрения Континент и ViPNet практически одинаковые.
ИнфоТеКС (производитель ViPNet) предоставил для пилотного тестирования следующее оборудование:
- HW50 – 2 шт. для радиологических кабинетов
- HW1000 – 1 шт. для ЦОД
Оборудование тестировалось месяц в боевых условиях. Испытания показали, что наши расчеты оказались верными, а тесты достаточно точными. Оборудование работало в штатном режиме, не оказывая существенных ограничений на работу медицинских работников. В итоге в финальной спецификации оказалось как раз это оборудование, HW50 устанавливался в радиологические кабинеты, кластер из двух криптошлюзов HW1000 обновленной модели с увеличенной пропускной способностью – в ЦОД).
Как внедряли? Схема, сложности, преднастройка
К внедрению нам необходимо было подойти с особой тщательностью. Как я говорил выше, медицинские работники радиологических кабинетов постоянно загружены, поэтому на внедрение СКЗИ на объекте нам отводилось 15 минут. Внедрение мы проводили совместно с инженерами Лаваль, которые хорошо знали местное оборудование.
Внедрение состояло из следующих этапов:
- Преднастройка (оборудование было преднастроено нашими инженерами (выпуск и установка dst-на ПАК, настройка сетевых интерфейсов, настройка snmp-агента, заведение ПАК в ViPNet Administrator);
- Установка криптошлюзов в ЦОД (настройка альтернативного канала для того, чтобы не прерывать работы ЕРИС);
- Установка криптошлюзов в поликлиники (в 15минутный интервал инженеру необходимо было переткнуть оборудование и убедиться, что туннель в ЦОД поднят. Естественно, в идеальных случаях все происходило за минуты, но всегда есть какое-то время на то, чтобы скорректировать возникающие проблемы. В целом, 15-ти минут хватает на то, чтобы выполнить работы);
- Подключение криптошлюзов к системе мониторинга (на этом этапе выявили баг системы, о котором сообщили вендору, периодически snmp агент самопроизвольно отваливался, его приходится перезапускать. Так как мы знаем, что ViPNet работает на базе ОС Linux (Debian), мы написали скрипт, который автоматически перезапускал процесс. В новой версии ИнфоТеКС исправил этот момент).
Мониторинг. Нагрузка на процессор, оперативную память, сеть
Дальше мы покажем скриншоты из системы мониторинга, где можно посмотреть нагрузки на оборудование отдельно за полгода и отдельно за один рабочий день (ЦП, ОЗУ, сеть). Названия сетевых устройств скрыты, с точки зрения смысловой нагрузки это ни на что не влияет.
Нагрузка на ЦП
Рисунок 2 — Загрузка ЦП за полгода HW1000
Рисунок 3 — Загрузка ЦП за 1 день HW1000
Рисунок 4 — Загрузка ЦП за полгода HW50
Рисунок 5 — Загрузка ЦП за 1 день HW50
Нагрузка на оперативную память
Рисунок 6 — Загрузка ОЗУ за полгода HW1000
Рисунок 7 — Загрузка ОЗУ за 1 день HW1000
Рисунок 8 — Загрузка ОЗУ за полгода HW50
Рисунок 9 — Загрузка ОЗУ за 1день HW50
Нагрузки на сеть
Рисунок 10 — Загрузка сеть за полгода HW1000
Рисунок 11 — Загрузка сеть за 1 день HW1000
Рисунок 12 — Загрузка сеть за полгода HW50
Рисунок 13 — Загрузка сеть за 1 день HW50
Вывод
Прошел примерно год с реализации проекта, все СКЗИ работают в штатном режиме, ни один криптошлюз не вышел из строя. ЕРИС работает в штатном режиме с установленными средствами защиты информации, обеспечивая необходимый уровень информационной безопасности персональных данных пациентов московских поликлиник.
Комментарии (21)
Naves
04.07.2018 23:41Гораздо интересней на чем собрали DICOM хранилище, софт и железо.
Уже несколько лет интересует вопрос, что же потом происходит с данными, тк реквизиты пациентов на рентгенах заводят как попало, каждый аппарат придумывает свой костыль для работы с киррилицей, если вообще ее поддерживает. Если аппарат поддерживает юникод, то все равно включают его редко.
В итоге в БД сервера скапливается просто огромная база каких-то снимков непонятных пациентов. Остаётся только окончательно анонимизировать изображения и отправлять забугор для обучения нейронных сетей и сбора половозрастной статистики.
По поводу графиков, а есть такие же за год только для серверов хранения, какой там уже объём?
imbasoft
05.07.2018 11:33единый архив диагностических изображений
Интересно, как данный факт способствует защите персональных данных? Скорее на оборот…
но это вопрос не к автору.
Дальше после взаимодействия с вендорами Заказчиком было принято финальное решение в пользу ViPNet. Оставим финальный выбор за скобками данной статьи
Жаль самое интересное.
Странно, но графики нагрузки по ЦПУ (Рис. 3 и Рис. 5) на HW50 и HW1000 не бьются, хотя по идеи должны. И еще, что HW50 делают с 18:00 до 02:00 и особенно в 02:00 большой всплеск.
Есть мнение что в кабинетах, с точки зрения ИБ, было бы более безопасно гасить канал на ночь.pavel_kirillov Автор
05.07.2018 14:51Этот факт очень даже способствует защите персональных данных. Если Вы сталкивались с медицинскими организациями, то наверно знаете, что у них нет в штате выделенного специалиста по информационной безопасности, там в основном ИТ-специалисты широкого профиля. То есть обеспечить высокий уровень безопасности проблематично (патчменеджмент, антивирусная защита, учет железа и софта хотя бы). Когда же все централизовано, это повышает требования по ИБ, но гораздо проще найти нескольких сотрудников в центр и обеспечить нужный уровень, чем искать для каждой ЛПУ.
imbasoft
05.07.2018 14:53Так то оно так, но я более чем уверен, что данные в кэше (а может и не только) остаются и ренген кабинете, что в итогое приводит к +1 ИСПДн
pavel_kirillov Автор
05.07.2018 16:10Локально ничего не хранится, там тонкий клиент стоит, поэтому большое внимание уделяется задержкам в канале, все сразу в ЦОД передается, но компьютеры в радиологическом кабинете оборудованы средствами защиты информации (СЗИ от НСД, Антивирус и тд)
Vinni37
05.07.2018 16:11Интересно Вы конечно оправдали выбор ViPNet. Искусственно ввели двух игроков, использование которых заведомо невозможно, они же кроме как СКЗИ нужно еще и МЭ. А так как:
Не предполагалась установка дополнительного ПО на компьютеры радиологического кабинета, потому что зачастую для взаимодействия с радиологическим оборудованием требуются очень специфические и старые версии операционных систем и специального программного обеспечения
то от сюда Тыц следует что только ПАКи подходят.pavel_kirillov Автор
05.07.2018 16:15спасибо за Ваш комментарий. Не совсем так, в самих радиологических кабинетах нет выхода в интернет (то есть не обязательно, чтоб там был МЭ класса 4А, может быть и 4Б или 4В, то есть софт), поэтому наша задача состоит в организации защищенных каналов связи до ЦОД, МЭ 4А может в ЦОДе стоять. А уже из ЦОД может быть выход в интернет, например. Программные СКЗИ действительно рассматривались, но они не показали себя с лучшей стороны в данной конкретной задаче.
Vinni37
05.07.2018 16:20Логика регулятора в данном вопросе очень проста.
1) Есть выход сети за пределы контролируемой зоны, значит будьте любезны МЭ, если у вас сеть то железный МЭ, если единичный АРМ или сервер можно софтовым обойтись (привет ФСТЭК)
2) Если за пределы КЗ вы передаете конф. инф. то будьте любезны шифровать (привет ФСБ)
Так что наличие/отсутствие интернета ни о чем не говорит.pavel_kirillov Автор
06.07.2018 10:181) Есть выход сети за пределы контролируемой зоны, значит будьте любезны МЭ, если у вас сеть то железный МЭ, если единичный АРМ или сервер можно софтовым обойтись (привет ФСТЭК)
это оценочное суждение, если Вы сможете привести конкретные цитаты из нормативки, я готов с Вами согласиться=)
imbasoft
05.07.2018 17:54Программные СКЗИ действительно рассматривались, но они не показали себя с лучшей стороны в данной конкретной задаче.
А с чем проблемы-то были?pavel_kirillov Автор
06.07.2018 10:21магпро — он создает большие задержки в канале, что в данном случае было непозволительно
криптопро — задержек особо не создавал, но плохо масштабируемый продукт и производитель больше не развивает решение (к сожалению)
tenhi_shadow
Насколько я помню, (сталкивался с этим в ЛПУ), все эти ЗТКИ стоят, типа работают, никто за ними не смотрят и самое главное… никакой траффик через них не ходит.
Стоят они для видимости, деньги «уплочены» и всё отлично.
pavel_kirillov Автор
Спасибо, за Ваш комментарий. Вы думаете, я эти графики сам рисовал? :) это скриншоты из системы мониторинга. В общем, уверяю Вас, оборудование работает и трафик ходит через него. Если у вас будет возможность столкнуться с ЛПУ в Москве еще раз, можете убедиться в том, что оборудование стоит и работает.
tenhi_shadow
не критикую статью, вас. Всё вполне здраво. В фактах не сомневаюсь.
Просто говорю, что в регионах(на момент года 2013-14) было именно так, что эти стойки тупо стояли без дела. Линк какой-то держали, но не использовались по факту.
SchmeL
использовали VipNET только, чтобы соответствовать законодательству. Перед ним или после него стояло обычное шифрование и настроено было так, что если VipNEt умрет, то пользователи ничего не заметят. Вообще эти перепиленные OpenSSL библиотеки и OpenVPN клиенты с поддержкой ГОСТа, имхо совсем не безопасные. За обновления надо платить, а можно и не обновлять, а сертификаты от ФСБ — это просто фантики.
iborzenkov
Так это очевидно из первых строк — страшные российские аббревиатуры значат что это все было прикручено исключительно из-за фантиков а теперь на хабре пытаются натянуть сову на глобус и никто в здравом уме этого делать не будет.
pavel_kirillov Автор
согласен с Вами, что в первую очередь данное оборудование используется для выполнения требований законодательства. Данной статьей я как раз хотел донести информацию, что не нужно после него ставить дополнительное шифрование и ждать что ViPNet помрет:) графики я как раз привел, чтоб была возможность убедиться, что это оборудование работает. Если у Вас есть какие-то вопросы по работе оборудования, то я готов на них ответить.
pavel_kirillov Автор
Это печально