Это должна была быть обычная пятница, звонки, задачи, планы на следующую неделю…
Мы очень внимательно относимся ко всем мелочам нашего сервиса, особенно к качеству и надежности телефонии. Это же наш хлеб и свою репутацию мы терять не хотим! За все время работы у нас не было ни одного сбоя!

Поэтому, если бы мне сказали, что сегодня внезапно всё рухнет, то я бы рассмеялся, ведь вероятность такого события примерно такая же, как если бы Николас Кейдж, так же внезапно появился над Нью-Йорком!
Ну примерно так:



Как говорят, не будь слишком уверен! Действительно, мы это проверили на себе.
Утром, внезапно, случился настоящий апокалипсис!

Все звонки через виджет перестали почему-то проходить. Сначала было непонятно, в чем дело, но позже оказалось, что оборвался канал поставки телефонии от оператора. Наш виджет полностью перестал работать!

Представьте себе ситуацию, при которой три с половиной тысячи наших клиентов лишились звонков. Скрывать не будем, первая реакция шок и лёгкая паника, с подобным мы ещё не сталкивались, и с чего начать — не представляли. Здесь было 2 варианта паниковать или решительно действовать.

Мы отложили абсолютно все дела, планы и работу.

1) Нужно было срочно найти новые каналы телефонии, которые будут соответствовать всем наши нормам.
2) Подключить всех наших программистов, сисадминов и т.д, которые должны за 1 день поднять новый сервер, переписать все функции и настройки, всё это подключить к новым транкам оператора, протестировать и запустить в работу.

В такой момент, как раз и проверяется команда. Мы обзвонили почти весь рынок телефонии, чтобы выбрать лучшего.
Тестировали, заключали договор, отправляли документы экспресс-курьером.

В это время весь технический отдел, вытирая пот с носа, без перерыва целый день занимался новым сервером.
Так как писали все заново, то, естественно, уже учли все предыдущие недостатки и добавили пару новых функций. В итоге, наш новый сервер получился гораздо лучше, надежнее и с большим количеством функций, чем предыдущий.

К концу дня, слава богу, мы всё восстановили. Даже не верится, но виджет заработал снова! Наверное, что-то помогало нам свыше.

В итоге, из минусов у нас только вынужденный фаст-фудный обед и лёгкая седина нашего технического директора.



Зато плюсов куда больше: во-первых, мы поняли, что неприятности являются таковыми до тех пор, пока не найдено действенное решение преобразовать их в ценный опыт, во-вторых, мы полностью переделали сервер, убрали все недостатки и теперь он стал еще надежнее, в-третьих, мы проверили себя и уверены, что готовы теперь справиться с любой проблемой.

Вывод:
В конце концов, катастрофа, которая должна была убить наш сервис, сделала нас только сильнее и лучше.
Теперь мы знаем, что всегда нужно иметь запасной план. Советую и другим делать так же, чтобы не попасть в наше положение.

Отправляемся на выходные с новой системой телефонии и отличным настроением!

И я не просто так про силы свыше…
P.S. Сегодня с утра «Яндекс» предупредил всех о штормовом предупреждении.



Утром началась гроза с градом, которая продолжалась весь день, не знаю, совпадение это или нет, но как только мы нашли нового поставщика и восстановили систему телефонии, яркая радуга появилась в небе и добавила нам ещё порцию хорошего настроения! Совпадение? Не думаю!



Вот такая была пятница.
В конце скажу, что выход есть в любой ситуации. Иногда найти решение проще, чем кажется. Страшное событие может либо убить вас, либо сделать сильней, выбираете только вы сами.

Спасибо! Всех обнимаю!

Виталий Ягодкин, CEO Perezvoni.com из офиса, где произошел апокалипсис.