В этот раз мы решили разнообразить наш блог и внести элемент практики. Опубликованные ранее статьи касались различных технологий, теперь же пришло время рассказать, какие проекты мы реализуем. Первым станет проект по аутсорсингу IBM Lotus Domino/Notes инфраструктуры одного крупного европейского финансового холдинга с филиалами в разных частях света, который стартовал в 2010 году. Наша компания выполняла заказ на данный проект, получив в результате успешный кейс в портфолио. О том, как мы делаем свою работу, и какие знания и опыт в области аутсорсинга IBM Lotus Domino/Notes готовы применять в следующих проектах, расскажем далее.
Предпосылки к началу проекта
С продуктом Lotus Domino/Notes заказчик работал с начала 2000-х, а сопровождал его большой штат собственных администраторов и разработчиков. В течение нескольких лет после внедрения IBM Lotus Domino/Notes ИТ-службой заказчика были доработаны стандартные приложения Lotus Notes и разработаны новые, которые автоматизировали все основные бизнес-процессы, возлагаемые на Lotus. Такая идиллия продолжалась вплоть до известного всем экономического кризиса 2008 года, когда проблемы финансового характера подтолкнули менеджмент компании к необходимости оптимизировать финансовые показатели путем разгрузки своего ИТ-персонала от непрофильных и рутинных задач и концентрации их сил на главных для бизнеса процессах.
В результате, заказчик оставил за собой только задачи конфигурации в области информационной безопасности, аудит за деятельностью аутсорсера, доработку дизайна почтовых ящиков под особенности своих бизнес-процессов и отвечал за бизнес-логику приложений. Все остальное было передано на ИТ-аутсорсинг.
Первый этап. На старт. Что предстояло сделать?
Инфраструктура IBM Lotus Domino/Notes заказчика включала несколько десятков серверов, на которых работали почта, Sametime и приложения. Серверы и несколько тысяч пользователей размещались в локациях разных стран мира на нескольких континентах. Все это нам предстояло удаленно сопровождать и развивать. Мы должны были оказывать второй и третий уровни поддержки, а первый уровень (Service Desk) заказчик принял решение отдать в одну из восточно-европейских стран, по причине недостаточной (на тот момент) «многоязычности» специалистов нашей компании.
Для старта проекта не хватало только подписанного контракта, что и реализовал менеджмент нашей компании и передал эстафетную палочку админам, которым предстояло познакомиться с заказчиком и получить первую порцию сервиса.
Первый этап начался с ежедневных периодических задач, управления пользователями и группами, решения инцидентов второго уровня поддержки и предоставления сервиса в режиме 24х7. А уже через полгода после старта проекта мы стали оказывать все виды работ, оговорённых контрактом, в том числе третий уровень поддержки, включая общение с вендором.
Второй этап. Реализация проекта.
Практически сразу после получения доступа в инфраструктуру IBM Lotus Domino серверов мы обнаружили, что большинство ключевых для бизнеса кластеров из серверов Domino перегружены и работают на пределе своих возможностей. Малейший сбой на одном из членов кластера приводил к тому, что запросы пользователей автоматически перенаправлялись на другой сервер, который от этой дополнительной нагрузки скоро также становился недоступным.
Кластер «падал». И это при том, что при заключении контракта заказчик утверждал, что у него все работает прекрасно и серверные инциденты чрезвычайно редки.
Как показывает практика, при описании масштаба работ, передаваемого на аутсорсинг сервиса, заказчики склонны к приуменьшению объемов. Например, указывают только количество инцидентов, скромно забывая о запросах на обслуживание или регламентных работах. И к этому надо быть готовым. Переход в виртуальную среду был в планах заказчика, но постоянно растущие объемы информации требовали не только увеличения производительности серверов, но и изменения архитектуры существующей IBM Lotus Domino/Notes инфраструктуры при обеспечении бесперебойной работы бизнес-процессов заказчика, что и было нами сделано.
Для обеспечения высокой степени доступности, масштабируемости и балансировки нагрузки каждый филиал компании заказчика имеет один или два выделенных физических сервера, на которых располагаются почта, архивы и реплики критически важных приложений. Эти серверы объединены в кластеры с соответствующими серверами в разных дата-центрах. Таким образом, в случае локальных проблем с сервером в филиале, их Notes клиенты будет автоматически переключаться на сервер в одном из дата-центров.
Для обеспечения безопасности Domino серверы объединены в два разных Notes домена: «внутренний» и «внешний» (mail gateway).
Благодаря оптимизации было сокращено количество Domino серверов. Большинство из них было перенесено из локаций в дата-центры по месту расположения головного офиса. В локациях оставили минимальное количество серверов, что позволило заказчику минимизировать затраты на их поддержку. Режим работы пользователей с почтовыми ящиками был изменен с «On Server» на «On Local», что привело к значительному сокращению нагрузки на почтовые серверы.
Правильность концепции, заложенной в новую архитектуру, гарантирующую непрерывность предоставления сервиса, была подтверждена и регулярными DR (Disaster Recovery) тестами, проводимыми заказчиком.
В итоге после некоторого периода адаптации (отметим, что в целом все требования заказчика выполнялись поэтапно в течение 8 месяцев) количество серверных инцидентов с Domino серверами снизилось в 2,5 раза.
Третий этап. Неожиданный сюрприз.
Разобравшись с критическими серверными задачами и благополучно пережив переход на новую инфраструктуру в основных локациях, мы взялись за проактивную работу. По договору регламентные еженедельные и ежемесячные работы переходили в нашу зону ответственности в самом конце передачи нам сервиса. Это было связано с тем, что они содержали не только действия, рекомендованные IBM, но и специфические действия, направленные на поддержание работоспособности бизнес-процессов и целостности информации заказчика.
И здесь нас поджидал сюрприз. В связи с оптимизацией штатного персонала, у оставшихся админов заказчика работы стало столько, что они успевали делать только критически важные еженедельные и ежемесячные задачи. Таким образом, вся оставшаяся нагрузка легла нахрупкие плечи аутсорсера, то есть на нас.
Что же нам было делать с большим объемом дополнительной работы? Было решено срочно автоматизировать процессы. В кратчайшие сроки нами были написаны скрипты по дополнительному анализу логов, сравнению кластеров, квот почтовых файлов, анализу групп, предоставлению отчетности. Все это позволило за 3-4 месяца привести дела в порядок и, что самое главное, регулярное выполнение в полном объеме всех регламентных работ привело к сокращению не только количества серверных, но и нескольких видов пользовательских инцидентов.
Успеху нашей работы также способствовало наличие у заказчика зрелых бизнес-процессов администрирования и решения инцидентов, их управления и мониторинга исполнения. На первых порах специалистам приходилось тратить много времени на их изучение и понимание, но в дальнейшем мы смогли по достоинству оценить их несомненную пользу, самостоятельно создавая новые и оптимизируя старые.
Итоги проекта. Что получил заказчик?
В результате реализации проекта специалисты нашей компании предоставили заказчику стабильную, правильно развивающуюся ИТ-инфраструктуру и возможность перебросить собственные ИТ-ресурсы на решение профильных бизнес-задач.
На протяжении всего проекта мы:
Все это позволило нашей компании значительно расширить объем предоставляемого заказчику сервиса и через пять лет работы продлить контракт.
Предпосылки к началу проекта
С продуктом Lotus Domino/Notes заказчик работал с начала 2000-х, а сопровождал его большой штат собственных администраторов и разработчиков. В течение нескольких лет после внедрения IBM Lotus Domino/Notes ИТ-службой заказчика были доработаны стандартные приложения Lotus Notes и разработаны новые, которые автоматизировали все основные бизнес-процессы, возлагаемые на Lotus. Такая идиллия продолжалась вплоть до известного всем экономического кризиса 2008 года, когда проблемы финансового характера подтолкнули менеджмент компании к необходимости оптимизировать финансовые показатели путем разгрузки своего ИТ-персонала от непрофильных и рутинных задач и концентрации их сил на главных для бизнеса процессах.
В результате, заказчик оставил за собой только задачи конфигурации в области информационной безопасности, аудит за деятельностью аутсорсера, доработку дизайна почтовых ящиков под особенности своих бизнес-процессов и отвечал за бизнес-логику приложений. Все остальное было передано на ИТ-аутсорсинг.
Первый этап. На старт. Что предстояло сделать?
Инфраструктура IBM Lotus Domino/Notes заказчика включала несколько десятков серверов, на которых работали почта, Sametime и приложения. Серверы и несколько тысяч пользователей размещались в локациях разных стран мира на нескольких континентах. Все это нам предстояло удаленно сопровождать и развивать. Мы должны были оказывать второй и третий уровни поддержки, а первый уровень (Service Desk) заказчик принял решение отдать в одну из восточно-европейских стран, по причине недостаточной (на тот момент) «многоязычности» специалистов нашей компании.
Для старта проекта не хватало только подписанного контракта, что и реализовал менеджмент нашей компании и передал эстафетную палочку админам, которым предстояло познакомиться с заказчиком и получить первую порцию сервиса.
Первый этап начался с ежедневных периодических задач, управления пользователями и группами, решения инцидентов второго уровня поддержки и предоставления сервиса в режиме 24х7. А уже через полгода после старта проекта мы стали оказывать все виды работ, оговорённых контрактом, в том числе третий уровень поддержки, включая общение с вендором.
Второй этап. Реализация проекта.
Практически сразу после получения доступа в инфраструктуру IBM Lotus Domino серверов мы обнаружили, что большинство ключевых для бизнеса кластеров из серверов Domino перегружены и работают на пределе своих возможностей. Малейший сбой на одном из членов кластера приводил к тому, что запросы пользователей автоматически перенаправлялись на другой сервер, который от этой дополнительной нагрузки скоро также становился недоступным.
Кластер «падал». И это при том, что при заключении контракта заказчик утверждал, что у него все работает прекрасно и серверные инциденты чрезвычайно редки.
Как показывает практика, при описании масштаба работ, передаваемого на аутсорсинг сервиса, заказчики склонны к приуменьшению объемов. Например, указывают только количество инцидентов, скромно забывая о запросах на обслуживание или регламентных работах. И к этому надо быть готовым. Переход в виртуальную среду был в планах заказчика, но постоянно растущие объемы информации требовали не только увеличения производительности серверов, но и изменения архитектуры существующей IBM Lotus Domino/Notes инфраструктуры при обеспечении бесперебойной работы бизнес-процессов заказчика, что и было нами сделано.
Для обеспечения высокой степени доступности, масштабируемости и балансировки нагрузки каждый филиал компании заказчика имеет один или два выделенных физических сервера, на которых располагаются почта, архивы и реплики критически важных приложений. Эти серверы объединены в кластеры с соответствующими серверами в разных дата-центрах. Таким образом, в случае локальных проблем с сервером в филиале, их Notes клиенты будет автоматически переключаться на сервер в одном из дата-центров.
Для обеспечения безопасности Domino серверы объединены в два разных Notes домена: «внутренний» и «внешний» (mail gateway).
Благодаря оптимизации было сокращено количество Domino серверов. Большинство из них было перенесено из локаций в дата-центры по месту расположения головного офиса. В локациях оставили минимальное количество серверов, что позволило заказчику минимизировать затраты на их поддержку. Режим работы пользователей с почтовыми ящиками был изменен с «On Server» на «On Local», что привело к значительному сокращению нагрузки на почтовые серверы.
Правильность концепции, заложенной в новую архитектуру, гарантирующую непрерывность предоставления сервиса, была подтверждена и регулярными DR (Disaster Recovery) тестами, проводимыми заказчиком.
В итоге после некоторого периода адаптации (отметим, что в целом все требования заказчика выполнялись поэтапно в течение 8 месяцев) количество серверных инцидентов с Domino серверами снизилось в 2,5 раза.
Третий этап. Неожиданный сюрприз.
Разобравшись с критическими серверными задачами и благополучно пережив переход на новую инфраструктуру в основных локациях, мы взялись за проактивную работу. По договору регламентные еженедельные и ежемесячные работы переходили в нашу зону ответственности в самом конце передачи нам сервиса. Это было связано с тем, что они содержали не только действия, рекомендованные IBM, но и специфические действия, направленные на поддержание работоспособности бизнес-процессов и целостности информации заказчика.
И здесь нас поджидал сюрприз. В связи с оптимизацией штатного персонала, у оставшихся админов заказчика работы стало столько, что они успевали делать только критически важные еженедельные и ежемесячные задачи. Таким образом, вся оставшаяся нагрузка легла на
Что же нам было делать с большим объемом дополнительной работы? Было решено срочно автоматизировать процессы. В кратчайшие сроки нами были написаны скрипты по дополнительному анализу логов, сравнению кластеров, квот почтовых файлов, анализу групп, предоставлению отчетности. Все это позволило за 3-4 месяца привести дела в порядок и, что самое главное, регулярное выполнение в полном объеме всех регламентных работ привело к сокращению не только количества серверных, но и нескольких видов пользовательских инцидентов.
Успеху нашей работы также способствовало наличие у заказчика зрелых бизнес-процессов администрирования и решения инцидентов, их управления и мониторинга исполнения. На первых порах специалистам приходилось тратить много времени на их изучение и понимание, но в дальнейшем мы смогли по достоинству оценить их несомненную пользу, самостоятельно создавая новые и оптимизируя старые.
Итоги проекта. Что получил заказчик?
В результате реализации проекта специалисты нашей компании предоставили заказчику стабильную, правильно развивающуюся ИТ-инфраструктуру и возможность перебросить собственные ИТ-ресурсы на решение профильных бизнес-задач.
На протяжении всего проекта мы:
- предоставляли сервис качественно и в срок;
- использовали средства автоматизации администрирования;
- использовали сторонние программные средства мониторинга серверов Domino;
- выстраивали хорошие отношения с представителями заказчика;
- расставляли приоритеты задач, пути их решения и порядок взаимодействия с заказчиком, основываясь на его бизнес-процессах и миссии;
- работали при максимально детализированном Service Level Agreement (соглашение об уровне предоставления услуг);
- постоянно улучшали сервис, предлагая клиенту новые решения для оптимизации ИТ-процессов.
Все это позволило нашей компании значительно расширить объем предоставляемого заказчику сервиса и через пять лет работы продлить контракт.
Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.
Комментарии (19)
Kisa_ua
20.04.2015 16:19Являлся пользователем Lotus Notes. Когда впервые пришлось с ним работать, было некое недоумение к чему это, чем же плох Outlook и иже с ним, но очень быстро привык.
И вот по прошествии 6-ти лет решили перевести нас на MS Excange и как результат приходиться пользоваться Outlook и Lynk. Сказать что я был счастлив? Да совсем нет. С точки зрения пользователя мне Lotus Notes нравился больше и по Outlook тоже масса вопросов. Вплоть до того, что заставляют проходить различные тренинги (пока только онлайн).
Все опять же мое ИМХО.
titulusdesiderio
Моя компания (в лице системного администратора) собирается спалить к чёртовой матери этот гроб с IBM Lotus Domino/Notes. Затем выследить разработчиков и изощрённо пытать их в течении 40 дней, после чего умервщлять путём избивания клавиатурой.
EminH
Нам повезло, мы это сделали 3 года назад… вспоминаем как кошмар…
кстати, дошли слухи что Notes еще жив и вышла 9-я версия… это так?
FilimoniC
так…
igor_suhorukov
Не лучший вариант действий!
Тут Lotus domino и подкрадется к разрабу…
reff
И даже больше — 9.0.1.
b01d
Интересно, а почему? Успешно использую Lotus с 2004-го года и со страхом смотрю на «идеи» ежегодно меняющихся горе ИТ-менеджеров, которые пытаются пропихнуть Exchange.
EminH
Ну сам Domino еще нормально, а вот клиент это кошмар, Microsoft при всем умении Outlook до такого довести не может…
igor_suhorukov
Как почтовый сервис он был хорош, согласен. Работал разработчиком lotus domino под версию 6.5 с 2005 по 2007 год. Вот это был АД!!!
lotus script, jvm 1.4, глючные domino java agent(аналог сервлеты) среда разработки. Вроде IBM потом перепилили IDE на eclipse, но возвращаться к этому монстриузному поделию я не хочу.
Тем более сейчас есть миллион и одна документо-ориентированная база данных(чем и является domino) на рынке, в том числе и open source варианты. Да и в таком use case postgresql выигрывает, как платформа разработки как для РСУБД так и документо-ориентированных баз данных
palmich
ну в 2005 году использовать java agent — это редкостное извращение.
маленькая поправка — domino — это не только документоориентированная база данных, и не только почта. Это еще и сервер приложений, и мощная система репликаций (по простоте и надежности, я боюсь, до сих пор аналогов нет), и система защиты данных из коробки(c шифрованием и данных, и каналов связи), это и вебсервер.
И это всё при постоянном желании IBM похоронить продукт и заменить его то на вебсферу+db2, то сейчас на filenet.
pansa
Да потому что это достаточно серьезная платформа, которая подразумевает некий уровень знаний и предварительного изучения что к чему. А если ты в метро почитал википедию и типа пришел админить лотус — то да, это будет кошмар.
EminH
Админить можно что угодно, дело не в этом, проблема возникает у конечных пользователей с клиентом Lotus Notes, жутко неудобным, неинтуитивным, тяжелым и глючным (относится ко всем версиям вплоть до 8.5.2, 9ку не видел)
pansa
Под «админить» я имел в виду более широкий круг, чем непосредственно админка сервера, расписывать не стал.
Админка, разработка, использование — всё там требует некой подготовки, чуть более высокой, чем «запутить аутлук». Как бы там ни было, в своем классе альтернатив у этой платформы… только одна — еще более глючная и адовая связка компонентов от MS.
Только та же почтовая подсистема у доминохи железобетонна и архитектурно не менялась 10лет. А exchange… о боже, мой мозг!
EminH
Ну, если и для пользователей для работы необходима подготовка, то можно понять когда они жалуются. С outlook-ом все работают без подготовки. Насчет железобетонности согласен, но только в отношении Domino. Кстати, мы одно время использовали в качестве клиента Outlook, оставив Domino в качестве сервера. Для почты компромисс был приемлемый.
pansa
«Работают» без подготовки. Я думаю вы сталкивались с результатами подобной работы — шаг влево-вправо и юзер в ступоре. MS outlook тоже довольно сложный и мощный инструмент. Но базовые функции работы с почтой в нем не более доступны, чем в Lotus. Просто продукты MS безусловный лидер популярности офисных приложений — тут глупо спорить. И более-менее единообразный интерфейс позволяет относитеьно легко и быстро «освоить» даже незнакомый продукт. Я считаю, что дело только в этом. У Notes концептуально другой интерфейс. Но он в свою очередь выкристализовался чуть ли не раньше аутлука. А дело в том, что ниша этой платформы — в основном крупный и очень крупный бизнес. Куча компаний подсажены на лотус еще до гегемонии MS. И кардинально менять интерфейс нельзя — во-первых, баги, во-вторых, под него придется переучивать существующих клиентов. Так что тут Lotus в своеобразной ловушке =) Но в 9-ке, кстати, совершеннно свежий интерфейс — такой, стильный, модный, молодежный.
И на Java целиком по-моему.
Это всё моё мнение о ситуации, конечно я не претендую на истину.
palmich
а в чем сложность у пользователей? открыл воркспейс, нажал кнопку базы — а дальше уже от разработчика зависит. Юзабилити — оно и в африке юзабилити. У меня вот последний раз пользователи просили сделать поиск — показал им ctrl+f — сказали спасибо.
если речь идет за почту — не скажу, опыта сопровождения клиентов в почте нету.
egmar
Глючность обычно из-за излишней параноидальности админов ОС. Достаточно посмотреть конфиг антивируса и сразу можно понять в чем проблема. И тд, и тп.
palmich
так может быть обратиться к автору статьи? пусть посмотрят, может они уже поймали разработчиков?
ICLServices Автор
Разработчики бывают хорошие и разные независимо от платформы. Создатели Lotus заложили в него громадный потенциал, позволяющий достаточно быстро создавать масштабируемые, распределённые и защищенные корпоративные приложения на разных аппаратных платформах и OC. А миллионы пользователей за него проголосовали.
Конечно, перед тем как создавать приложения в Lotus, необходимо сначала изучить все его технологии и средства разработки, их особенности. Может быть в этом кроется проблема некоторых оппонентов. Опыт нашей более чем 15-летней работы с Lotus показывает, что при правильном подходе и пользователи не жалуются и серверы работают стабильно. А если кто-то хочет перейти с Lotus или на Lotus, то милости просим. Обращайтесь. Опыт имеется.