История эта приключилась с одним крупным брендом, работающий на внутреннем рынке не самой маленькой южной страны бывшего СССР, назовём его просто — БРЕНД.

— Сеть построена на Cisco с небольшими вкраплениями из свичей и серверов от HP. VPNы до штаб-квартиры и удалённых офисов;
— Интернет по собственному оптоволокну от одного из ведущих провайдеров столицы;
— ISDN-телефония от другой тоже весьма известной международной компании. На эти номера привязана реклама, так что отказаться от них нельзя!
— Собственный штат IT-специалистов у БРЕНДа небольшой и постоянно задействован в решении текущих задач, поэтому активно пользуется услугами IT-аутсорсинга;
— Ежемесячные траты БРЕНДа только на услуги связи составляют около 3000$, что является у нас весьма неплохим показателем и выводит в VIP, и вроде бы всё было хорошо, но вдруг приходит счёт сначала на 20K$, а потом еще на 40К$.

И тут внезапно стало приходить понимание, что вечер уже перестаёт быть томным, а события начинают разворачиваться по классической схеме:

1. Поиск виноватых
2. Наказание невиновных
3. И награждение непричастных

Сама история


Примерно за пару месяцев до истории, в связи с кризисом и с целью оптимизации расходов, было принято решение отказаться от ежемесячной поддержки IT-аутсорсера, а перейти на оплату по вызову.

В принципе решение является экономически выгодным, но вдруг в один из дней, поставщик телефонии, (получив в свою очередь пинок информацию от международного коммутатора гостелекома), сообщает БРЕНДу, что идёт необычно много звонков по неспецифичным ранее для него, направлениям (Куба, Нигерия и т.д.)

IT-департамент БРЕНДа, проверив биллинг на своей внутренней АТС, записей не обнаружил и, пожав плечами, сказал что у них всё нормально. Менеджер провайдера, зевнув, пошёл дальше заниматься своей рутиной.

И всё затихло опять примерно на месяц, пока не пришли счета, о которых говорилось в начале повествования.

IT-шники БРЕНДа поначалу заявили что я не я и корова не моя «так как во внутреннем биллинге записей нету, значит мы звонков не совершали и платить не будем», но потом изменили позицию на то, что раз среди условий получения телеком лицензии имеется обязательный пункт борьбы с фродом (что является правдой в нашей стране), то в возникновении счёта виноват сам провайдер телефонии, так что пусть он сам и оплачивает его.

Поставщик резонно возразил, что за состояние оборудование клиента он не отвечает, разговоры зафиксированы не только им, но и центром международной связи и однозначно осуществлялись со стороны клиента, так что предъявленный счёт необходимо оплатить клиенту.

Компания IT-аутсорсинга провела своё исследование и дала заключение что «оборудование клиента было взломано» и, хотя кем и когда совершено было сие противоправное деяние, установить они не могут «по причине отсутствия логов» но, злоумышленники, захватив права, «налили» на оборудование клиента голосовой международный VoIP трафик.

В качестве решения, БРЕНДу надо срочно! купить у них дополнительное оборудование, услуги на N-ую сумму, взять на работу ещё одного специалиста по безопасности и выработать правила по обнаружения таких ситуаций и т.д. и т.п.

Вообщем, как всегда, все старались свалить вину с себя и, если получится, нарубить бабла.

В правоохранительные органы, уже имея опыт, никто из сторон обращаться не захотел.

Тут необходимо пояснить: с учётом сложившейся на местах практики, обычно в таких случаях у нас выявляется какая статья УК нарушена и кто отвечает за данное поле деятельности у потерпевшего. Выносится приговор специалисту/руководителю потерпевшей стороны, поставщикам и причастным лицам, далее бюджет пополняется на сумму выписанных штрафов и дело считается успешно раскрытым. Разумеется что ни деньги, ни тем более, самих злоумышленников искать никто практически и не пытается.

Осознав что все в одной лодке, провайдер согласился списать частично сумму за телефонные разговоры, исключив весь свой профит, но клиент настаивал на разделении и остаточной суммы поровну. Дело дошло до приглашения команды «боевых» юристов, которые, уже в свою очередь, позвали на переговоры своих технических специалистов (то есть нас).

Несколько совещаний всех заинтересованных сторон позволило выяснить что, по сути дела грамотный мониторинг событий отсутствует как данность и у клиента и у поставщиков услуг. Тикетная система у аутсорсера безвременно почила. Обсуждение SLA с любой из сторон вызывало мысли о суициде стойкое ощущение что, никто из присутствующих, в том числе и нас, не понимает как это возможно обеспечивать и контролировать.

Ну что же, будем работать с тем что в наличии.

Как известно с незапамятных времён, у Cisco в реализации VoIP, по умолчанию имеется баг, позволяющий отправлять VoIP-трафик в PSTN просто указав номертелефонакудазвонить@адресциски и это необходимо закрывать соответствующими правилами через access-list.

Не став сильно вдаваться в юридические аспекты, просто чтобы убедиться в обратном, мы захотели ознакомиться с текущей конфигурацией сетевой инфраструктуры, и в процессе ознакомления, несмотря на уверения IT-аутсорсера в обратном, выяснилось, что логи и конфигурационные файлы все же собирались на сервере хранения данных.
Уже легче.

В первую очередь попросили самих аутсорсеров предоставить нам для анализа логи и файлы настроек взломанного оборудования, которое подверглось атаке.

Стали смотреть на предмет ошибок и вроде бы всё было верно, но тут обратили внимание на не состыковку дат между более поздними и более ранними файлами. Скажем выглядело это примерно так:

Ранний файл:
! Last configuration change at 18:54:05 Tue Feb 10 2015 by ит@аутсорсер
!NVRAM config last updated at 19:02:08 Tue Feb 10 2015 by ит@аутсорсер

Поздний файл:
! Last configuration change at 13:38:58 Fri Jan 15 2016 by ит@аутсорсер
! NVRAM config last updated at 13:38:59 Fri Jan 15 2016 by ит@аутсорсер

Кроме того, у обоих файлов в свойствах время создания и последнего изменения имели абсолютно одно и то же значение, что в принципе невозможно без внешнего вмешательства.

Заподозрив неладное, получили доступ к файлам уже непосредственно через начальника IT-департамента и на его ноутбуке, мы открыли сервер хранения данных.

Операционная система SUSE (это важно!)
Логи подтёрты, но вот разбор истории команд показал что пользователь под именем сотрудника аутсорсера, перед передачей файлов нам на исследование, вносил в них изменения. А также менял значения «время создания» и «время последней модификации» указанных файлов, заменив далее оригиналы на сервере своими переделками. После чего, видимо, чтобы стереть следы своих действий, удалил всё из директории /var/log/.

У SUSE есть одна интересная особенность по сохранению временных файлов, перед отправкой их на сервер TFTP. Всё описывать не буду, кто знает и так понимает, что имеется ввиду, другим рекомендую обратиться в Google. Так что приложив совсем незначительные усилия, мы получили оригиналы всех старых файлов конфигураций, которые нам открыли следующую картину:

У компании IT-аутсорсинга около года как сменился основной инженер по сопровождению клиента, а клиент как раз в то время решил сменить провайдера Интернет. В процессе настройки нового интерфейса сотрудник аутсорсера по какой-то причине оставил эту дыру открытой.

Хмм… почему-то с самого начала нам так и казалось. Далее, после того как уже пришёл счёт и выяснилась собственная ошибка, сотрудники стали «валять дурака» и попытались обмануть клиента. Грустно!

Заключение


Экспертное заключение нашей компании с техническими и юридическими обоснованиями, а также слепок дисков сервера, с материалами для возможности возбуждения уголовного дела были выданы руководству БРЕНДа. Далее, руководство клиента пригласило руководство IT-аутсорсера, где им в глаза объяснили, что произошло и что им может за это быть.

Поначалу конечно же они сделали удивлённые лица, но через 2 дня, попросив подписать NDA, пообещали всё оплатить.
Так как руководство БРЕНДа, к своей чести, с самого начала заявляли, что они не ставят целью уголовное преследование, а лишь хотят выяснить, что произошло, и что надо сделать, чтобы предотвратить такое в будущем, то этот инцидент теперь считается исчерпанным.

Послесловие


Это был не первый и не самый значительный в денежном эквиваленте опыт нашего участия в расследовании IT-преступлений, но стоит помнить, что везде, где нету порядка в учёте, имеется огромное поле для воровства и обмана.

Ведь в принципе, если у аутсорсера стояла задача сымитировать преступление, и организовав саботаж, навязать свои услуги, то при грамотной организации они вполне могли бы добиться успеха. Поэтому считаем необходимым собирать логи действий всех администраторов и хранить их в недоступном для них месте. Например у начальника собственной Службы Безопасности. Не потому что ты не доверяешь, но чтобы потом в случае инцидента быть уверенными, что это не кто-то из твоих людей попытался тебя «кинуть». Это как сейф в доме, чтобы точно знать, что твои дети не причём, когда пропали деньги. Или же «чёрный ящик» на самолёте. Не потому, что мы не доверяем пилоту, а просто потому, что шит хэппенс!

Мы рекомендовали клиенту:

» Развернуть сервер сбора логов действий IT-администраторов с доступом только начальнику Службы Безопасности.
» Сервер мониторинга событий для инвентаризации оборудования, отслеживания состояния и контроля качества получаемых услуг (по SLA).
» Настроить способы и правила автоматического оповещения на триггеры возникновения нетипичных ситуаций.

Но об этом уже в следующих статьях, если будет вам интересно.
Поделиться с друзьями
-->

Комментарии (52)


  1. ivan19631224
    14.09.2016 13:00
    +8

    > В правоохранительные органы, уже имея опыт, никто из сторон обращаться не захотел.
    Грустно это, тут же в итоге получился служебный подлог. Ещё грустнее следующий абзац с пояснением. Так и живём, не по закону, а по понятиям...


    1. Technounit
      14.09.2016 17:56
      +5

      Ну… как то мы вели расследование каким образом у компании увели около 100К зеленью под прикрытием e-mail фишинга, но не успели собрать доказательную базу на совершившего (конечно же один из «своих» оказался), как владелец компании начал писать/угрожать этому своему сотруднику, что «он всё теперь знает и тому ппц»
      Виновный тут же побежал в госбезопасность и настучал что типа так и так, не могу молчать когда вижу что в компании такой-то творятся такие вот дела и… в закрутившемся водовороте и об угрозах и о нарушениях и проч. хозяину было бы намного дешевле постараться «замолчать» инцидент.

      Или была история, когда поймали рабочих за воровством, и вместо того что бы выгнать (ну может еще и пару пендалей отвесить), то передали их ментам. А воришки, когда попали в оборот, заявили что они взяли-то всего ничего, а вот их хозяин с налогами на огромные суммы мутит!
      Ну менты сунули им бумагу и сказали: Пишите!

      Так что если помните книжку про Обмен разумов, где было сказано что «во всем мире признаётся, что если в ваше дело вмешались правоохранительные органы, то ваши это означает что ваши проблемы только начинаются».
      Нужно понимать правоохранительную систему, прежде чем туда соваться с жалобами, иначе можно сильно пожалеть.


      1. redmanmale
        15.09.2016 12:52
        +1

        Или была история, когда поймали рабочих за воровством, и вместо того что бы выгнать (ну может еще и пару пендалей отвесить), то передали их ментам. А воришки, когда попали в оборот, заявили что они взяли-то всего ничего, а вот их хозяин с налогами на огромные суммы мутит!

        Немного странно пытаться сделать так, чтобы закон применялся к одним людям и не применялся к другим, нет?
        Ты уклоняешься от налогов, но при этом хочешь, чтобы воров посадили. Тут, как говорится, надо или трусы надеть или крестик снять.


        1. Technounit
          16.09.2016 13:17

          Мм… реалия ведения бизнеса таковы, что при желании, всегда можно найти, за что зацепиться,
          Как говаривал Феликс Эдмундович: «То, что вы на свободе, не ваша заслуга, а наша недоработка».
          Поэтому предательство, или инсайдерский слив, всегда нанесут больший урон, чем взлом или банальное воровство, так что взвешивайте все риски пропорционально.


  1. motpac
    14.09.2016 13:00

    Как-будто детектив прочитал и легкое волнение в груди! Вам бы шедевры писать с вашим талантом, ну и сама статья конечно поучительная!


  1. Saffron
    14.09.2016 13:53
    +1

    Мне вот что интересно. Если все стороны дружно выбрали решать свои проблемы вне правового поля, то как они будут возвращать деньги у сотрудника, кинувшего свою компанию? Вывезут в лес?


    1. Konachan700
      14.09.2016 14:07

      Скорее всего, просто уволят — явного злого умысла не было, просто некомпетентность. Забыл прикрыть дыру, кто-то влез и начудил.


      1. ollisso
        14.09.2016 15:44
        +8

        Злой умысел был в тот момент когда он подчистил логи: сознательное уничтожение доказательств.


        1. stychos
          14.09.2016 19:42

          Ну подчищать уже могло и руководство приказать, когда поняли что облажались, и подумали, что авось не заметят.


          1. Technounit
            14.09.2016 22:36

            Была такая мысль.
            К тому же после этой истории и директора фирмы уволили, но нам это уже было не важно.


    1. basili4
      14.09.2016 17:22

      Это не законно. Достаточно законно обратится к коллекторам, а они пусть вывозят, пытают паяльником и прочее.


    1. Alligattor
      14.09.2016 17:22

      Судя по географии размещения БРЕНДа, то не в лес, а в арык. Я так понял, что это Узбекистан.


    1. GoldGoblin
      14.09.2016 17:22

      Хе у нас как то аутсорсер через спутниковый канал посмотрел порнушки на 2500 зелени. Ему было предложено уплатить сумму в течении какого то времени либо лишиться причинного места из-за которого и потребовалось смотреть порнушку.


      1. Technounit
        14.09.2016 17:55

        Ой, сорри за повтор!

        Ну… как то мы вели расследование каким образом у компании увели около 100К зеленью под прикрытием e-mail фишинга, но не успели собрать доказательную базу на совершившего (конечно же один из «своих» оказался), как владелец компании начал писать/угрожать этому своему сотруднику, что «он всё теперь знает и тому ппц»
        Виновный тут же побежал в госбезопасность и настучал что типа так и так, не могу молчать когда вижу что в компании такой-то творятся такие вот дела и… в закрутившемся водовороте и об угрозах и о нарушениях и проч. хозяину было бы намного дешевле постараться «замолчать» инцидент.

        Или была история, когда поймали рабочих за воровством, и вместо того что бы выгнать (ну может еще и пару пендалей отвесить), то передали их ментам. А воришки, когда попали в оборот, заявили что они взяли-то всего ничего, а вот их хозяин с налогами на огромные суммы мутит!
        Ну менты сунули им бумагу и сказали: Пишите!

        Так что если помните книжку про Обмен разумов, где было сказано что «во всем мире признаётся, что если в ваше дело вмешались правоохранительные органы, то ваши это означает что ваши проблемы только начинаются».
        Нужно понимать правоохранительную систему, прежде чем туда соваться с жалобами, иначе можно сильно пожалеть.


  1. Aivendil
    14.09.2016 14:46

    Шикарная история. Всё очень по человечески и от того немного грустно. Именно такие ситуации сказываются на доверии к ИТ-аутсорсерам.


    1. Technounit
      14.09.2016 22:27
      +2

      Мне кажется, что для повышения доверия и лояльности клиента, самим аутсорсерам необходимо уже внедрять системы мониторинга и логгирования событий и действий персонала. И лучше в связке с аналитическими системами и дружелюбным хелпдеском, что бы твоя необходимость для бизнеса клиента стала очевидной.

      Ведь какой именно спектр задач по сути дела, правильно скидывать аутсорсерам? Критичные сервисы сбросить нельзя, значит рутинные, что бы освободить свой штат для стратегического управления инфраструктурой.

      Скажем, я умею заправлять картридж принтера, но чем возиться с тонером, отмывать потом руки и/или стол и пол мне проще вызвать картридж на заправку. Или же можно держать своего цисковика, но если он у меня задействован в неделю один раз, то платить ему зарплату по килобаксу в месяц — это неэффективные траты. Они ложатся на бизнес, и конечный продукт вырастает в цене становясь всё менее конкурентноспособным.
      А тут вы со своим сервисдеском вкупе с мониторингом не только ответственно и быстрее решаете проблемы, но и анализируя данные, предсказываете возникновение их в будущем. Аргументированно подсказываете эффективные решения.

      Помогая клиенту развивать его бизнес, становитесь этаким добрым доктором со стетоскопом, а не шарлатаном от IT с кучей дорогих но бесполезных пиявок от «ведущих производителей» оборудования и программного обеспечения.

      К сожалению, в настоящее время аутсорсеры зачастую ведут борьбу с локальными IT-отделами, надеясь вырвать у них куски на обслуживание пожирнее. Но, кажется настало время менять парадигму мышления, друзья.

      З.Ы. Плин, неплохой спич получился ))


  1. Greendq
    14.09.2016 16:13
    +1

    А расскажите про Suse и tftp. Всё равно ведь вы название страны засветили. Просто интересно — оно там сохраняет копию файлов?


    1. Technounit
      14.09.2016 22:35
      +1

      Стыдно должно быть, молодой человек, в эпоху Google спрашивать такое ))
      Поэкспериментируйте с файлами и загляните в /home/username/temp/


      1. Greendq
        15.09.2016 13:13
        +1

        Ну нету у меня Суси, нету. Дебианопоклонники мы :)


  1. panterus
    14.09.2016 17:22
    -1

    Читается на одном дыхании!


  1. Ugrum
    14.09.2016 17:22
    +1

    Напомнило 2013 год и относительно массовый хайп: «АТС Panasonic взломали на выходных/праздниках, etc. Счёта за общение с Африкой на n тысяч рублей, что делать???».


  1. maa_boo
    14.09.2016 17:22

    То есть поставщику услуг таки заплатили в полном объёме?

    А если бы реальный взлом?


    1. Technounit
      14.09.2016 17:29
      +1

      Если бы был реальный взлом, то т.к. клиент из категории ВИП, и поставщику терять его не хотелось, они были готовы уступить до максимально возможной скидки упомянутые 60%.
      Просто дело в том, что провайдер имеет в составе акционеров и государственную долю, так что если они покажут такой значительный убыток, то тут же придут проверять, не хотят ли они обмануть государство.


  1. ooptimum
    14.09.2016 17:23

    В свете очередной недавней порции разоблачений АНБ, когда мы узнали о годами существовавших дырах в том же пиксе и эксплойтам к ним, снова в полный рост встает вопрос, а может не стоит иметь в качестве файрвола (в драме были всуе упомянуты аксесс-листы) оборудование, грамотно управлять которым изнутри сети не может скорее всего никто, из-за чего приходится платить за управление непонятно кому и надеяться на их порядочность при этом? В общем-то, вся эта статья произрастает из того факта, что: «с незапамятных времён, у Cisco в реализации VoIP, по умолчанию имеется баг», — о чем нужно еще знать. Вера в непогрешимость брендовых решений иногда выходит боком, в довесок к тому, что все это обычно стоит как чугуниевый мост.


    1. Technounit
      14.09.2016 17:33
      +3

      Как мне видится, то неломающихся и неломаемых систем не существует в природе.
      Как говаривал дядька Степан: «Ежели что один человек построил, то другой завсегда поломать сумеет»(с) Формула Любви.

      Всё зависит от уровня востребованности и профита.
      тут на хабре как то пробегало обсуждение что для того, что бы быть уверенным в отсутствии «закладок от производителя», следует контролировать весь процесс создания оборудования, вплоть до выращивания кристаллов. Иначе все достаточно призрачно/прозрачно ))

      В нашем же случае вопрос стоял по Чернышевскому:
      1. Кто виноват?
      2. Что делать (что бы не повторилось это вновь)?


    1. SchmeL
      15.09.2016 15:18
      +1

      ИМХО тут виноваты обе стороны в равной степени и заказчик и аутсорсер, заказчик в том что положил болт на безопасность и явно проигнорировал предупреждение о звонках в таких-то направлениях. Аутсорсер — в том что пытались подделать логи.
      Я не знаю есть ли в договоре на обслуживание какой либо пункт об ответственности за внешний взлом системы, тогда вина была бы на аутсорсере. Но как-то неправильно обвинять техника, настроившего оборудование, за баг в cisco из-за которого произошел взлом.
      Возможно злого умысла и не было никакого.

      Была у нас в конторе офисная Avaya, которую несколько раз настраивала одна сторонняя контора. Так вот, там один техник всегда оставлял пароль по умолчанию на все АТС, которые сам где либо настраивал. Его аргументация была проста — ему платят за выполнение определенной задачи, чтобы абонент А дозвонился Б и все, никакая безопасность в эти задачи не входит, а поиск пароля иногда занимает продолжительное время, тем более если к этому оборудованию пару лет никто не подходил.


  1. Varkus
    14.09.2016 17:24

    Спасибо!
    Так рассказали, будто это в моей компании произошло: утром соберу IT-шников для вводной по вашим рекомендованным пунктам в конце статьи.
    Вот за такие статьи люблю хабру.


    1. Technounit
      14.09.2016 22:46

      Лишь бы на пользу!


  1. ComodoHacker
    14.09.2016 17:56

    Показал статью знакомым из ваших краев. Интересуются названием компании аутсорсера. :) Чтобы не нарваться ненароком.
    Можно в приват?


    1. steamoor
      15.09.2016 01:58

      дочка «одного из крупнейших поставщиков коммуникационного оборудования в стране;» — это прямое указание на компанию
      смею предположить что это… рс и дочерняя компания… рс


      1. citius
        15.09.2016 18:30

        Тима, ты знаешь эту(и) компанию(и). ;)


        1. steamoor
          15.09.2016 18:36

          я вот как раз хотел у тебя уточнить. Надеюсь друзья не пострадали :)


    1. steamoor
      15.09.2016 02:16

      Хотя, честно сказать: опираться на эту информацию я бы не стал. Если обслуживали крупного клиента и запороли, это не значит что 1) другие лучше и 2) они плохие специалисты
      Жалко самих работников компании, $60К долга оплаченные из кармана компании это большой груз, надеюсь им не пришлось продавать последнее чтобы расплатиться.


      1. Technounit
        15.09.2016 07:46

        Тонко подмечено.
        Как мы видим ситуацию — пора менять парадигму отношения аутсорсера к клиенту с «потребительской» на «дружеское участие».
        И тут без автоматической диагностики и анализа вряд ли возможно будет обойтись.
        И так уже в IT-инфраструктуре в день копится столько логов что не разберёшься. Необходимо внедрять системы их автоматических сборов и оповещений по заданным триггерам. Например:
        -Утилизация CPU
        — Ошибки подсистем ввода/вывода


        1. steamoor
          15.09.2016 07:50

          в феврале довелось побывать на Elastic{ON}, там этого анализа и анализаторов как того гуталину на гуталиновой фабрике. могу подсказать пару компаний.


          1. Technounit
            15.09.2016 08:11

            Кидайте конечно же.
            Поделитесь, какие именно вам понравились и почему.
            Пусть народ подключается и потестит идею, будем только рады.
            За это мы и любим Хабр.


            1. steamoor
              15.09.2016 08:24

              На предыдущей конференции была хорошая презентация от Mozilla, про их Mozdef (https://github.com/mozilla/MozDef), реализация слабо документирована, код открытый.
              на этой конференции мне понравилось две компании:
              — Extrahop (extrahop.com) — делают анализ сетевых данных
              — Prelert(http://info.prelert.com/) — поведенческий анализ

              еще есть https://elastalert.readthedocs.io/en/latest/, это что из opensource.


              1. Technounit
                15.09.2016 22:10

                Тима спасибо, обязательно глянем (Беку приветы!)


  1. BigW
    14.09.2016 18:22

    По вашим рекомендациям клиенту — было бы интересно прочитать статьи, с единственной просьбой — укажите в них название применяемого ПО (пакетах), т.к. читать о сферическом в вакууме ПО, написанном для конкретного клиента, хоть и интересно, но практической пользы не имеет:(


    1. Technounit
      14.09.2016 18:48

      Обязательно поделимся. Пока собираем отзывы и запросы, что именно интересно было бы в следующих статьях.


  1. TimsTims
    14.09.2016 18:47

    > Last configuration change at 18:54:05 UZT
    Ну вот, название страницы в сераере вроде и не прикрыто ) стоило ли замалчивать?


    1. Technounit
      14.09.2016 19:20
      +1

      «Блаженны миротворцы, ибо их нарекут сынами Божьими» (с) И.Христос
      Многие просят назвать имена, но боюсь что огласка может повредить аффилированым лицам.

      Идея статьи не в том, что бы бросить инфу на вентилятор, а побудить команды аутсорсинга задуматься о логгировании событий и действий своих сотрудников. Очевидно, что синдром вахтёра, которым часто заболевают администраторы, может привести к непредвиденным и значительным затратам. Я сам борюсь с этим внутри себя и подаю пример своим сотрудникам, но… «в семье не без урода» :-)
      Помните, в сети есть ролик web-site is down? Там одно из действий админа по сокрытию ошибочного решения был, заход в почту под учёткой шефа что удалить предупреждение, которое тот ему раньше отправлял.
      Давайте лучше все пребудем в мире.


  1. Markuzzz
    14.09.2016 20:41

    Так оборудование БРЕНДа использовали в качестве шлюза из VoIP в PSTN? Странно это, так как в логах таймзона UZT, а sip, насколько мне известно, в Узбекистане заблокирован.


    1. Technounit
      14.09.2016 21:20

      Вы прекрасно осведомлены и весьма наблюдательны! Well done!

      Именно этот факт стал основной причиной подозревать не просто халатность, а саботаж со стороны аутсорсера, с целью вынудить клиента не отказываться от его весьма дорогих абонентских услуг. И мы начали проверку этой гипотезы, как всегда, начав с самых близких, — с сотрудников самой компании.

      Когда мы удостоверились в том, что они не при делах, то запросили данные по биллингу и netflow от провайдеров.
      Далее, проанализировав, вытащили каким образом, через кого, куда и откуда шёл траф (сорри, там уже начинается информация не подлежащая разглашению), а затем пробились уже на эти удалённые машины, то обнаружили нечто, что потом нас попросили забыть.

      Клиент и так уже получили ответы на все поставленные им вопросы.
      Все его финансовые потери возмещены.
      Других целей мы не преследовали.


      1. citius
        15.09.2016 18:32
        +1

        Да не было там саботажа.
        Банальный недогляд при копипасте конфига интерфейса.
        Либо для теста отвязывали аксес лист и забыли назад повесить.


  1. steamoor
    15.09.2016 01:46

    сложить один плюс один и все участники вполне даже вычисляемы, тем кому это нужно уже все давно поняли, а кому не нужно — пофигу на имена…
    поэтому что уж там скрывать то? :)
    Бренд, дочка крупного поставщика оборудования, ISDN предоставляет только пара контор и только одна из них имеет международное имя.
    и всё это из-за UZT в логах :D


  1. SemperFi
    15.09.2016 17:35

    а чем снимали «слепки» дисков? RADAR'ом?


  1. nickD
    16.09.2016 15:18

    Все проблемы решаются выбором провайдера МГ/МН который,
    обеспечит для своего клиента некий лимит допустимых для расхода средств,
    и подсчета расходов в реальном режиме времени.


    1. Technounit
      16.09.2016 17:52

      Думаю что тут лучше провайдеру сделать некий триггер регистрации нестандартного поведения и соответствующей реакции:
      Например вводная:
      до 100 минут в день на EU
      до 300 минут в день на СНГ
      до 500 минут в день на межгород

      Превышение показателей — коммит админу клиента
      Превышение показателей в 2 раза, коммит админу, дубликат в СБ клиента с запросом подтверждения
      Превышение в 5 раз и более, коммит админу, СБ и руководству клиента с обязательной регистрацией ответов
      Это практически будет база для организации SLA.

      А при БОЛЬШОМ желании, можно вообще и нейросеть замутить на инфраструктуру. Но это уже или для истинных ценителей или для серьёзных уровней безопасности, например государственного обеспечения.


      1. Technounit
        16.09.2016 18:03

        Однако опять — вопрос мониторинга и аналитики остаётся насущным, ибо не биллингом единым… ))


  1. Pave1
    16.09.2016 15:18

    Печальная мораль сей басни такова, что именно человеческий фактор является главной уязвимостью. Крутость оборудования, качество дизайна и количество вложенных средств — ничего не решают…


    1. Technounit
      16.09.2016 18:02

      Ну (глядя на Сноудена) в АНБ, думаю, с вами тоже согласны :-)