14 февраля 2019 года миллионы пользователей по всему миру отправляли поздравления через мобильные приложения, электронную почту и даже по SMS. Однако, более 160 тыс. сообщений оказались не совсем корректно отправлены, причем эта проблема коснулась не только пользователей определенного провайдера, а нескольких (T-Mobile, Verizon, Google Voice и других региональных провайдеров), в том числе эта ситуация была зафиксирована как минимум в двух странах — США и Канаде. Спустя девять месяцев, ночью 7 ноября 2019 года эти тысячи SMS-сообщений были наконец доставлены получателям.
Расследование в компании Syniverse, которая обеспечивает доставку SMS-сообщений в США и Канаде, этого инцидента показало, что тысячи пользователей мобильных услуг через свои iPhone или смартфоны на Android отправили большое количество SMS-сообщений 14 февраля 2019 года. Уведомлений о том, что получатель их увидел, эти пользователи не получили. Да и после девяти месяцев уже многие из них забыли, что отправляли сообщения. Так же эти отправители ничего не делали для повторной отправки этих сообщений.
И вот, девять месяцев спустя, рано утром 7 ноября 2019 года тысячи этих не полученных SMS-сообщений начали приходить получателям на их смартфоны. А их отправители и получатели оказались в очень странной ситуации. Ведь те, кто отправлял эти сообщения в феврале, были не в курсе, что они дошли только сейчас, а многие получатели приняли их за настоящую переписку. И если кто-то просто воспринял эти сообщения как должное, то все нормально. Но часть пользователей были серьезно обескуражены, ведь им пришли сообщения от родителей, друзей или знакомых, которых или нет уже в живых, или они не могли отправить никакие сообщения в это время.
По данным сотрудников Syniverse, причиной этой масштабной SMS-проблемы стало аварийное отключение одного из их серверов в День Святого Валентина. Из-за этого сотни тысяч отправленных пользователями SMS-сообщений зависли в системе передачи этого сервера и не были отправлены вовремя получателям без уведомления отправителям. А централизованная система передачи данных из-за перегрузки не смогла корректно отработать эту нештатную ситуацию. Получилось, что информация о том, что в системе есть не отправленные SMS-сообщения, не была получена от сервера, и в течение последующих часов, пока эти сообщения должны хранится, не делалось повторной отправки этих SMS-сообщений.
Когда отремонтированный сервер вернули в рабочую сеть 7 ноября 2019, то после его включения системой автоматически были запущены процедуры доставки всех этих хранящихся на сервере не отправленных получателям SMS-сообщений.
Представители Syniverse не раскрыли полностью деталей расследования, как и точного числа не отправленных сообщений, которые позже все же были доставлены с девятимесячной задержкой. Однако, по информации из разных источников, этих задержанных сообщений было более 168 тысяч. По правилам использования сервиса системы передачи данных Syniverse, все не отправленные сообщения, которые не были доставлены получателям в течение семидесяти двух часов, должны были быть удалены из системы и их повторная отправка невозможна. Ведь подобные сервисы не занимаются хранием сообщений пользователей, а оставляют в своих системах в течение сорока пяти дней только информацию о метаданных этих сообщений (информацию об операторе мобильной связи и устройстве отправителя), чтобы использовать ее для выставления счетов и добавлять эту информацию в свою отчетность.
На данный момент в компании проанализировали ситуацию с этим инцидентом и изменили систему передачи и краткосрочного хранения сообщений, чтобы в любом случае сообщения доставлялись без задержек даже в случае выхода из строя более чем одного сервера в их инфраструктуре, задействованного для обработки и отправки SMS-сообщений. В компании сожалеют, что такая ситуация произошла и извинились перед всеми пользователями, кого затронула эта ситуация.
Комментарии (50)
x67
10.11.2019 14:56имхо смс не является и не должны являться сообщениями с гарантией доставки. И у них должен быть ttl, желательно настраиваемый.
Кто знает, сколько техники, управляемой смс командами «взбесилось» в тот момент и исполнило неактуальную команду и к чему это могло привестиstaticlab
10.11.2019 15:01+1имхо смс не является и не должны являться сообщениями с гарантией доставки. И у них должен быть ttl, желательно настраиваемый.
По правилам использования сервиса системы передачи данных Syniverse, все не отправленные сообщения, которые не были доставлены получателям в течение семидесяти двух часов, должны были быть удалены из системы и их повторная отправка невозможна.
vsb
10.11.2019 15:12Они, конечно, не являются, но вот имхо должны начать являться гарантированным средством доставки. Слишком много на них завязано и альтернативы им не предвидится. У нас, например, штормовые предупреждения присылают по SMS. Уведомления о штрафах вроде хотят начинать присылать по SMS. Т.е. люди давно относятся к этому, как к средству гарантированной доставки. Значит технологии должны подтянуться.
x67
11.11.2019 01:28Штормовые предупреждения актуальны только ко времени. Им нужна гарантия времени а не гарантия доставки
Штрафы, авторизация, банкинг — все то, что использует смс по каким то причинам, но имхо это не безопасно и тупо. Должен быть один сервис уведомлений, что то вроде гос.услуг. и основываться он должен на современном и защищенном стеке технологий, а не на смс
mig126
11.11.2019 01:52Банки, авторизация привязаны ко времени. Первые ещё и к конкретной симке, так что замена бесполезна.
transcengopher
11.11.2019 21:06Им нужна гарантия времени а не гарантия доставки
Непонятно, что ты имеешь в виду. Гарантия доставки ко времени — это более сильное условие, чем просто гарантия доставки, то есть должно не просто дойти, но ещё и быстро дойти (в назначенное время).
Что до "Единого Государственного Сервиса Уведомлений", то в может получиться как с IPv6 — сервис есть, но всё уже настроено, и по старинке все уведомляются СМС.
Areso
10.11.2019 15:19+1Вы это банкам расскажите.
Нет кода из СМС — в банкинг не войти, деньги не отправить.
Некоторые из банков к тому же сотрудничают с крайне тормозными прослойками, к примеру этим грешит Сбербанк… Пытаешься войти — минута СМС нету, две, иногда до суток проходит :)edogs
10.11.2019 16:16+2Не войти полбеды. По закону банк обязан уведомлять об операциях (срок на опротестование операции отсчитывается от уведомления), у некоторых это завязано на смс (некоторые хитрят говоря что уведомляют в ИБ), при этом пользователь считается уведомленным с момента отсылки банком смс (а то что оно через год может прийти никого не мучает).
shurshur
10.11.2019 21:59А что поделать? Банк не может отвечать за каждую сотовую вышку, которая не смогла достучаться до абонента, это не его зона ответственности.
mSnus
11.11.2019 00:15Зато если банк будет знать, что сообщение не доставлено — может написать об этом по другим каналам, например, звонком или по почте.
tmin10
10.11.2019 16:25+1В госуслуги иногда не могу войти, т.к. смс приходит, когда срок действия кода уже вышел.
x86d0cent
11.11.2019 00:43Вы это банкам расскажите.
Нет кода из СМС — в банкинг не войти, деньги не отправить.
Так банки в курсе. Некоторые :) И дают карты переменных кодов. Мне, например, дали в Авангарде и в ВТБ.
DreamingKitten
10.11.2019 17:10TTL там есть, кстати. В PDU режиме поле «Validity Period» в днях указывается. И «delivery confirmation» там тоже есть — специальное обратное сообщение о том, что такая-то SMS доставлена до конечного терминала.
Проблема, как всегда, в том что этим никто не пользуется, потому что никто об этом не знает. А не знают, потому что не пользуются.
Maccimo
10.11.2019 22:19Проблема либо в современных телефонах, либо в современных настройках опсосов.
До оригинального Nokia 3310 и его современников уведомления о доставке стабильно долетали.
Без каких-либо специальных телодвижений со стороны конечных пользователей.DreamingKitten
10.11.2019 22:31Как это ни удивительно, но в современных телефонах delivery report вполне себе поддерживается. По крайней мере в Андроиде.
Заголовок спойлера
DaemonGloom
11.11.2019 12:10Да, но задания TTL для сообщения больше нет. Старые Сименсы умели это, например.
С современными телефонами больше интересно другое. Зачем опция для получения отчётов изначально выключена? Крайне удобная функция же.
VuX
10.11.2019 15:47Шокирует то что они 9 месяцев ремонтировали сервер, да за это время можно родить!))
mkll
10.11.2019 22:04+1Кто знает, может, в этой шутке лишь доля шутки, если ремонтник серверов — женщина. :)
Kolyagrozamorey
11.11.2019 00:21Необязательно что ремонтировали они 9 месяцев. Скорее всего когда этот сервер поломался его поменяли на резервный. Этот отремонтировали и положили на склад. И возможно через 9 месяцев сломался другой сервер и тогда первый сервер взяли со склада у запустили.
Sartorio
10.11.2019 16:24«Я только что получила sms-сообщение от моей лучшей подруги. Единственная проблема в том, что она умерла в феврале»
Вот так рождаются легенды, о жизни после смерти!
tmin10
10.11.2019 16:27+3Никакого резервирования, балансировки нагрузки, ремонтные работы по 9 месяцев, нарушение своих же регламентов по TTL: отличная рекламу себе комания сделала.
AllexIn
10.11.2019 20:17+6В статье на мой взгляд недостаточно точно указали причину произошедшего.
Один из серверов вышел из строя в процессе этого коллапса и был введен в эксплуатацию после ремонта 7 ноября 2019 года. Как только сервер вновь оказался в рабочей сети, то он отправил все находящиеся в его системе хранения не отправленные на момент аварийного отключения SMS-сообщения.
Также хотелось бы отметить, что когда отремонтированный сервер вернули в рабочую сеть 7 ноября 2019, то после его включения системой автоматически были запущены процедуры доставки всех этих хранящихся на сервере не отправленных получателям SMS-сообщений.
Таким образом, сервер отправил все ранее сохраненные сообщения, которые не были отправлены и сделал это 7 ноября 2019 года.
P.S.
Нескромный вопрос: неужели редакторам платят за размер текста? Или это просто халтурная вычитка?
justhabrauser
11.11.2019 00:21Судя по всему таки за буквы. Причем — каждый день план.
А так как сегодня новостей нет, то выкручиваются как могут.
Maccimo
10.11.2019 20:19Какая нелепая попытка объяснить сбой в тайной системе записи и хранении всего трафика.
Amikko
10.11.2019 23:34Имхо, доставка sms'ок спустя 9 месяцев многократно лучше чем полная их потеря. Так что финальный исход истории вполне норм. Хотя чинить сервак 9 месяцев, конечно, не хорошо.
seri0shka
10.11.2019 23:42168 тыс. SMS, отправленных в день Святого Валентина, пришли получателям только 7 ноября 2019
А те были по пять,
14 февраля 2019 года миллионы пользователей по всему миру отправляли поздравления… по SMS.
ночью 7 ноября 2019 года эти тысячи SMS-сообщений были наконец доставлены получателям.
тысячи пользователей… отправили большое количество SMS-сообщений 14 февраля 2019 года.
рано утром 7 ноября 2019 года тысячи этих не полученных SMS-сообщений начали приходить получателям на их смартфоны.
Когда отремонтированный сервер вернули в рабочую сеть 7 ноября 2019, то после его включения системой автоматически были запущены процедуры доставки всех этих хранящихся на сервере не отправленных получателям SMS-сообщений.
но вчера,
но очень большие,
то есть, те были вчера по пять и очень большие,
а эти и маленькие, и сегодня, и по три.
Lord_Ahriman
11.11.2019 14:03Мне в конце октября пришли СМС от банка о зачислении денег, которое было в начале мая
SagePtr
12.11.2019 06:56В сентябре словил похожий баг, на полчаса смс-шлюз Мегафона перестал принимать входящие сообщения, а я как раз в тот момент пару раз попытался войти в онлайн-банкинг и не смог код получить.
Когда через две недели все эти неотправленные смс с кодами пришли одновременно сразу пачкой, я поначалу перепугался, что мой пароль поломали и добрались до второго фактора, но проверил метаданные СМС-сообщений и по дате отправления обнаружил, что это старые.
Было бы удобно, если бы мобильный оператор или телефон как-то помечал подобные сообщения, у которых большие расхождения между датой отправки и получения.
vova4ka_ua
12.11.2019 13:57Сервак, через 9 мес, без проверки что на нем и как, просто так взяли и подключили в продакшн. Отлично. Никого не уволили?
mamont80
Как-то долго они сервер чинили.
mig126
Может накатили резервную копию.
sim2q
примерно как и статья — хватило бы одного абзаца :)