Для затравки, чтобы было желание прочитать дальше: «So far, … has cost … at least $115 million and annual maintenance costs are approximately $14 million. The project is five years late, incomplete, riddled with deficiencies, and much of the technology may already be out dated.»

И так, как вы могли уже догадаться, речь пойдёт о достаточно не редком явлении, хотя докладчики на многочисленных конференциях стараются скромно о подобном умалчивать, когда ИТ проект (вовсе даже не российский) долго надували-надували, а он взял, да внезапно лопнул.

— Иа, я принёс тебе подарок! Воздушный шар.
— Спасибо, Пятачок, ты настоящий друг, не то, что некоторые! Шар, это такой большой, красивый!
— Интересно, что это так громко бумкнуло! И где мой воздушный шарик, и откуда взялась эта тряпочка?


К слову сказать, в старо-давние времена, ваш покорный слуга, участвовал в тестировании некоторых модулей этого проекта, когда тот ходил ещё в каких-то бетах. Уже тогда было понятно, что что-то тут не так, но доказать это весьма большой и разношёрстной проектной команде, обвешенной сертификатами аки новогодняя ёлка, где MBA и PMP были просто must-have по определению, было достаточно трудно, если вообще возможно. С тех пор я мельком следил за его развитием и имею достаточное представление об его устройстве. И вот теперь, когда появились публично доступные данные, можно рассказать об этом подробнее.

Начнём по порядку. В 2003 году весь мир содрогнулся от эпидемии очередного супер вируса атипичная пневмония или SARS. В Канаде, о которой дальше и пойдёт речь, вирусом заразилось около 400 человек, 44 умерло, а 25 тыс. жителей Торонто попало в карантин. В таких условиях министерство здравоохранения не могло не отреагировать, и было решено создать национальную систему раннего предупреждения эпидемий, цель которой была весьма лаконична «seamless public health system that will allow public health professionals to coordinate activities in a carefully planned infrastructure».

Проект начался в 2004 году, первоначально предполагалось, что в него войдёт 6-ть крупных модулей, такие как: immunization management (вакцинация населения), outbreak management (отслеживание эпидемий), communicable disease case management (отслеживание венерологических заболеваний) и др. В качестве разработчика выступала IBM, которая подписала фиксированный контракт на $27.8 млн (здесь и далее канадских долларов). Ещё $9.9 млн было выделено на прочие нужды, в сумме составив $37.7 млн на проект. Согласно этому контракту, IBM должна была, грубо говоря, пройтись по магазинам, набрать на полках всяких продуктов и приготовить из этого вкусятину, от которой все придут в неописуемый восторг. Говоря ИТ языком, «IBM committed to integrating a number of different COTS (commercial off-the-shelf) products into a single solution that would meet the pan-Canadian system needs».

Очень скоро выяснилось, что полуфабрикаты на полках как-то совсем не подходят для ожидаемого изысканного ужина при свечах на национальном уровне. После чего, IBM, недолго думая, предложила создать требуемый продукт с нуля. Министерство здравоохранения не придумало ни чего лучшего как согласиться (ибо система была нужна). Быстренько переписав контракт, разбив его на серию Change Orders, IBM, следуя всем новомодным agile и прочим технологиям как в управлении проектом, так и в разработке, должна была предоставить новую систему в течение года (в 2007). Контракт увеличился до $47 млн.

И тут наступил финансовый outbreak (то бишь 2008 год). Финансирование всех проектов было пересмотрено. Новый контракт предполагал создание системы за $16.2 млн к 2009 году. В реальности министерство заплатило IBM $73.5 млн.

Ко всеми прочему, IBM подписала очередной контракт на разработку тестовых сценариев и проведение acceptance testing. Но даже это мало помогло, на момент сдачи системы (в 2010 году) было обнаружено 1200 ошибок, хотя, условиями контракта предполагалось, что «the system contains no severity 1 or 2 defects and 5 or less severity 3 defects». Ни когда не догадаетесь, что было решено сделать с этими ошибками:
• allowed severity level 1 and 2 defects to be downgraded to level 3 with the identification of workarounds and removed ministry approval of workarounds
• changed severity deficiency levels, resulting in defects being assigned to lower severity levels ??
• limited the number of defects that IBM was required to fix to a combined national total of 1,450 annually and allowed jurisdictions to prioritize defects

Заклеив скотчем все неприглядные части, в 2011 году система пошла в production. Незамедлительно было обнаружено ещё 11 тыс. дефектов, среди которых 63 Severity 1 и почти 2 тыс. Severity 2. Среди этих 11 тыс., 6 тыс. дефектов делали работу мед персонала с системой невозможной. К декабрю 2014 открытыми оставались 2.5 тыс. дефектов.

И так, благодаря умелой компьютеризации, время приёма одного пациента уменьшилось увеличилось с 25-35 минут до 35-52 с новой системой. Согласно прикидкам медиков, при использовании системы они будут терять ежегодно до $4.5 млн прибыли.

Стоит заметить, что проблема скорости работы системы даже при простейших действиях пользователя, вроде выбора пациента из списка, а также очень запутанная логика для совершения обыденных действий, вроде создания пациента и привязка его к другому пациенту, была очевидно ещё на самых ранних стадиях тестирования. Однако желание создать супер-гибкую систему, каждый аспект которой можно настроить под пожелания заказчика, сделали своё коварное дело.

А что там с финансами? Первоначально выделенные $27 млн на 6+1 модулей системы к моменту аудита превратились в $113 млн. При этом, только часть оговоренных функций системы оказалось реализована. Стоимость ежегодной поддержки системы — $14 млн.

С результатами аудита системы можно ознакомиться: www.bcauditor.com/pubs/2015/audit-panorama-public-health-it-system

Комментарии (13)


  1. fareloz
    04.09.2015 10:13

    Какой «класс опасности» у оборудования?


    1. Wayfarer15
      04.09.2015 18:46

      Учитывая, что Британская Колумбия находится в сейсмически опасной зоне, а дата центры растыканы от Альберты до Юты, уточни свой вопрос. Кроме того, подсчёт идёт в environments, которые для внешнего пользователя доступны как облачные сервисы.


  1. Mephistophele
    04.09.2015 13:40
    +3

    Пост про мастер-класс по распилу бабла?


    1. Ununtrium
      04.09.2015 15:58
      -1

      Если что, Канада входит в топ наименее коррумпированых стран, емнип. Правда деталей не помню.


  1. gotch
    04.09.2015 13:53

    Расскажите, пожалуйста, на каких коммерческих продуктах, которые нужно было интегрировать, базировался этот «монстр»?


    1. akakunin
      04.09.2015 16:55

      В тексте явно упоминается что разработчик IBM — думаю что разработка полностью велась на их стеке.


      1. Wayfarer15
        04.09.2015 18:48

        Именно так. В закрытой части корпоративного сайта IBM есть страница, где можно «купить» продукт или продлить лицензию. Понятно, что не IBM продукты там (насколько я помню, а было это давно) не встречаются.


        1. akakunin
          04.09.2015 23:40

          И как издевка мне справа вылез огромный банер «Узнайте о новом подходе к созданию кодов — разумные приложения созданы с IBM» :)


          1. gotch
            07.09.2015 09:30

            Зато это прибыльный бизнес. Не то что серверы и сетёвка, которую только ленивый не делает. Проект государственной важности.
            Вообще любопытно из чего сейчас складываются доходы IBM.


            1. Wayfarer15
              07.09.2015 18:42

              Как и любая амерская компания, котирующаяся на бирже, IBM подаёт отчётность в SEC. Так что достаточно поискать форму 10-Q (квартальная отчётность) в базе EDGAR. Так последняя доступна по адресу «ibm15q2_10q». Естественно, в ней нет разбивки по проектам или странам. Ну и финансовую отчётность надо немного уметь читать.


  1. Ununtrium
    04.09.2015 14:57
    +3

    Хороший пример корпоративного буллщита, спасибо, порадовали в пятницу.


  1. Mixim333
    05.09.2015 15:52

    На первой своей работе локально администрировал российское аналогичное «чудо» — «МИС» («Медицинская информационная система»), которая была построена, если я не ошибаюсь, на стеке технологий Microsoft — примерно раз в день «накатывали» очередное обновление, которое ломало все к черту, функциональные возможности там были на уровне «введи ФИО пациента, укажи какое лечение ему назначил» — все. И за эту чудесную систему наш Минздрав, как мне рассказывали, отдал чуть ли ни сотни миллионов!


  1. elDraco
    06.09.2015 13:34

    «Еще никого не уволили за покупку IBM» ©