19 июля произошёл глобальный сбой в работе ПК и серверов на Windows по всему миру. Ряд устройств выдавал синий экран смерти (BSOD) и уходил в бесконечную перезагрузку. Поводом для сбоя стало обновление системы защиты от кибератак Falcon Sensor производства американской компании в сфере информационной безопасности CrowdStrike. Неполадки затронули IT-инфраструктуру многих компаний, банков и аэропортов по всему миру.
Издание CNET указывает, что последний аналогичный по масштабам сбой произошёл в июне 2021 года. Тогда нарушения в инфраструктуре облачной платформы провайдера сети доставки контента Fastly привели к возникновению проблем у многих компаний и сервисов, включая Twitter, Amazon, Reddit, Spotify, eBay, Twitch, Pinterest и другие. Летом 2021 года проблемы наблюдались в течение 45 минут.
Неисправное программное обеспечение от CrowdStrike затронуло 8,5 млн устройств по всему миру или менее 1% от всех устройств, использующих Windows, сообщили в Microsoft. В корпорации из Редмонда назвали процент небольшим, но социальные и экономические последствия — широкими.
На фоне сбоя стоимость акций Microsoft упала на 3%, а CrowdStrike — на 18%.
CrowdStrike стоимостью $80 млрд базируется в Остине, штат Техас. Компания наиболее известна расследованием масштабных киберинцидентов, таких как атаки на Sony Pictures и Национальный комитет Демократической партии США. Фирму основали в 2011 году.
Что произошло
Причинами сбоя стало обновление ПО CrowdStrike и его ошибка при взаимодействии с сервисами Microsoft, в том числе с Microsoft 365 и облачной платформой Microsoft Azure. Работу систем частично восстановили, но у некоторых пользователей продолжают возникать проблемы.
Генеральный директор CrowdStrike Джордж Курц поспешил заверить, что сбой не был вызван проблемами с безопасностью или кибератакой. Он сообщил, что проблему выявили, изолировали и применили меры по её решению. Курц добавил, что причиной сбоя стало обновление для хостов Windows, поэтому пользователей macOS и Linux проблемы не коснулись. Дефект в коде был в одном обновлении контента для хостов Windows, пояснил глава компании.
Официальные лица Великобритании, Турции и Франции также считают, что сбой не был вызван кибератакой.
CrowdStrike отчиталась об обнаружении и исправлении проблемы. Компания направила клиентов на портал поддержки для получения последних обновлений. Для исправления BSOD на Windows 10 можно обратиться к инструкции. Представители CrowdStrike открыли ветку на Reddit, посвящённую синему экрану смерти после сбоя.
Эксперты из Microsoft вовсе сообщили, что исправить BSOD можно путём перезагрузки компьютера 15 раз подряд. Такое решение предназначено для системных администраторов виртуальных машин, использующих Azure и столкнувшихся с глобальным сбоем в работе ПК и серверов на Windows.
Позже Microsoft отчиталась о возвращении к корректной работе Microsoft Defender, Microsoft Intune, Microsoft OneNote, OneDrive for Business, SharePoint Online, Microsoft 365, Viva Engage и Microsoft Purview. Однако проблемы существовали при использовании PowerBI, Microsoft Fabric, Microsoft Teams и Microsoft 365 admin center.
Продукт Falcon Sensor обеспечивает сверхточное обнаружение и автоматическую защиту от возможных угроз кибербезопасности в режиме реального времени. Проблема была в коде ПО для рабочих станций. Обновление файлов «C-00000291*.sys» в папке «C:\Windows\System32\drivers\CrowdStrike» привело к BSOD сотен тысяч ПК в мире. Первопричину глобального сбоя устранили.
Текущее решение от производителя:
Workaround Steps:
Boot Windows into Safe Mode or the Windows Recovery Environment
Navigate to the C:\Windows\System32\drivers\CrowdStrike directory
Locate the file matching “C-00000291*.sys”, and delete it.
Boot the host normally.
Самые актуальные рекомендации и информацию по устранению неполадок CrowdStrike рекомендует получить в своём блоге или на портале поддержки.
Обновление ПО CrowdStrike вывело из строя серверные сборки на Debian и Rocky Linux в апреле и мае текущего года, однако на это обратили внимание лишь несколько клиентов. ИБ-разработчики неделями тянули с закрытием тикетов и выдавали клиентам отписки, долго выпуская нужный патч. Ещё тогда пользователи отметили неудовлетворительный уровень тестирования и техподдержки CrowdStrike.
Защитными сервисами разработчика пользуются 29 тыс. компаний в мире, включая 500 из списка Fortune 1000. Стало известно, что большая часть клиентов компании предпочитает Windows, а техподдержка CrowdStrike быстро реагирует только при глобальной проблеме.
Последствия
Проблемы после сбоя CrowdStrike возникли в системах организаций многих стран, включая США, Великобританию, страны ЕС, Индию, Новой Зеландию и Австралию. Речь идёт об отменах авиарейсов и направлений в больницы, блокировках выплат заработных плат, прекращении вещания телеканалов и многом другом.
Многочисленные авиакомпании приостановили полёты 19 июля, в том числе три крупнейших американских перевозчика: United Airlines, Delta Air Lines и American Airlines. В United уточнили, что задержат самолёты в аэропортах до восстановления систем. Другие авиакомпании США — Frontier, Allegiant и Spirit — также приостановили полёты из-за сбоя систем Microsoft.
Проблемы наблюдались и Европе: ирландская авиакомпания Ryanair посоветовала пассажирам прибывать на посадку заранее из-за «сбоя во всей сети». Решение приостановить работу приняли и в нидерландской KLM — отключение систем сделало невозможным обслуживание рейсов.
Также о проблемах в работе сообщили авиакомпании British Airways, Wizz Air, Turkish Airlines, Eurowings, Lufthansa и Qantas. По данным аналитической компании Cirium, 19 июля по всему миру было отменено около 7 тыс. авиарейсов — 6,2% от всех запланированных по миру.
Представители аэропортов Белфаста и Сингапура рассказали, что из-за появления BSOD на табло сотрудники использовали белые доски и надписи маркером для информировании о рейсах. К аналогичным мерам прибегли в Индии. В некоторых странах авиабилеты заполняли от руки. Позже системы восстановили. Guardian пишет, что неполадки коснулись систем аэропортов от Амстердама до Цюриха и от Сингапура до Гонконга.
Четвёртую по величине авиакомпанию США Southwest Airlines сбой не затронул, поскольку перевозчик использует Windows 3.1 в своих системах. Выпущенная в 1992 году операционная система не получает обновлений. Также Southwest использует Windows 95 для своей системы планирования персонала.
Полиция Аляски сообщила, что глобальный сбой коснулся линии экстренной связи в штате.
В Великобритании пострадали системы здравоохранения, которые врачи используют для записи на приём, просмотра историй болезни пациентов, заказа рецептов и выдачи направлений. Минимум две немецкие больницы отменили плановые операции. Министерство здравоохранения Израиля объявило, что глобальный сбой коснулся 16 больниц. Также инцидент повлиял на работу банков, почтовой службы и систем экстренной помощи.
Недоступной оказалась информация о прибытии поездов метрополитена города Нью-Йорк. Однако на движении поездов сбой не сказался, но затруднил возможность сотрудников метрополитена видеть местоположение составов. Британская железнодорожная компания Govia Thameslink Railway (управляет Southern, Thameslink, Gatwick Express и Great Northern) предупредила пассажиров о возможных задержках прибытия поездов.
Британский телеканал Sky News прервал вещание после возникшего сбоя Windows. Канал переключился на демонстрацию архивных кадров и короткое время показывал сообщение об ошибке. Также проблемы возникли у индийского NDTV, австралийских Channel 10, SBS, ABC и других каналов.
Неполадки появились на сайте Лондонской фондовой биржи, что сделало невозможным публикацию новостей. Другие сервисы биржи продолжили работать в штатном режиме.
В Японии приостановила работу примерно треть ресторанов быстрого питания McDonald’s. Проблема была связана с неполадками кассовых аппаратов сети. Также от сбоя пострадала австралийская сеть продуктовых магазинов Woolworths.
Американские компании в сфере доставки FedEx и UPS предупредили о задержках выполнения заказов из-за сбоя. Проблемы появились в системах ряда государственных ведомств США.
Глава Tesla Илон Маск заявил, что сбой парализовал цепочку поставок автомобилей. Он сообщил, что автокомпания прекратила использовать ПО CrowdStrike и удалила его из всех своих систем.
Британские пользователи рассказали о проблемах с услугами Visa и BT, а также супермаркетов, банков и игровых онлайн-платформ. Metro Bank указал на проблемы со связью в Великобритании, а в Santander заявили о проблемах с платежами по картам.
Проблемы в работе банков и платёжных систем возникли в Австралии и Новой Зеландии. С перебоями в работе банкинга и осуществления электронных платежей столкнулись клиенты National Australia Bank, Bendigo Bank, Commonwealth Bank of Australia, Bank of New Zealand, ASB Bank и других банков.
Эксперт в области кибербезопасности и региональный директор Microsoft в Австралии Трой Хант назвал масштаб последнего сбоя беспрецедентным. По его словам, инцидент можно назвать крупнейшим сбоем в IT-сфере за всю историю.
Эксперты Британского компьютерного общества (BCS) прогнозировали, что восстановление систем может занять дни и даже недели. Возникновение BSOD и бесконечных загрузок свидетельствует о том, что восстановление может быть сложным, поделился стипендиат BCS Адам Леон Смит.
Профессор кафедры техники безопасности в Университетском колледже Лондона Стивен Мёрдок полагает, что многим компаниям будет сложно оперативно устранить проблему. Сбой возникает до того, как компьютер подключается к интернету, поэтому нет возможности устранить его удалённо, говорит эксперт. Мёрдок добавляет, что компании, которые сократили IT-персонал или передали свои IT-задачи на аутсорсинг, столкнутся со сложностями при решении этой проблемы.
Министр внутренних дел Австралии Клэр О’Нил предупредила, что злоумышленники пытаются воспользоваться глобальным сбоем CrowdStrike, чтобы обокрасть малый бизнес, предлагая предпринимателям поддельные исправления. Она сообщила о попытках проведения фишинговых атак на фирмы.
Неисправное обновление ПО CrowdStrike продолжает влиять на предприятия и частных лиц по всему миру, несмотря на обещания CrowdStrike и Microsoft исправить проблему, сообщил Neowin. Глава Microsoft Сатья Наделла написал, что компания тесно сотрудничает с CrowdStrike и всей отраслью, чтобы устранить проблему. Негативные эффекты от инцидента до сих пор испытывает Национальная служба здравоохранения Великобритании.
Влияние сбоя на Россию
Министерство цифрового развития РФ сообщило, что ситуация с Microsoft подчёркивает важность импортозамещения зарубежного ПО. В ведомстве заявили, что не получали уведомления о сбоях систем российских аэропортов. В аэропорту Шереметьево объяснили стабильную работу инфраструктуры внедрением собственных разработок и решений.
Глобальный сбой не затронул российские АЭС, поскольку Росэнергоатом работает на импортонезависимом ПО. В штатном режиме функционируют системы ВТБ и Сбера.
В России практически нет решений CrowdStrike, поэтому глобальный сбой не коснулся страны, объяснил эксперт в области информационной безопасности Алексей Лукацкий. На фоне санкций большинство российских компаний были отключены от облачных сервисов Microsoft, что и стало причиной отсутствия проблем с ПО, отметил замглавы группы компаний «Гарда» Рустэм Хайретдинов.
Реакция в сети
Столь масштабный инцидент не обошли вниманием в интернете:
Комментарии (45)
ibein
21.07.2024 09:36+4"Эксперты из Microsoft вовсе сообщили, что исправить BSOD можно путём перезагрузки компьютера 15 раз подряд. "
15 раз, 15.....
А то что в шоколаде оказались те кто сидят на винде 3.1, 92 года это вообще, отдельный кайф.
Paultino
21.07.2024 09:36Притом что это непроверенные сведения про "экспертов" и показывает как одно сообщение "как сообщают пользователи в комментарии" быстро становится рекомендацией от компании в умах пользователей и копируется везде без проверки. Внушаемость.
uhf
21.07.2024 09:36+9Пользователи антивирусов должны страдать, ибо во многом благодаря им, производители операционок (конкретно - Майкрософт) забивают на безопасность.
Антивирус не делает ничего особенного, чего не может сама ОС. Большая часть его работы - это изменение системных настроек и перехват API. Логично внедрить эти функции в саму ОС.
Но нет, вместо этого будут Cortana, Copilot, блокнот с ИИ-хренью, новые обои, еще более улучшенная кнопка "Пуск" с рекламой, и прочая ненужная чепуха.Paultino
21.07.2024 09:36+2Не верно. Антивирус в системе есть. И он рабочий. Сторонний производитель антивирусов выпустил ПО "Х" и разрекламировал или занёс что оно стало незаметно обязательным для отделов ИБ компаний.
Если производитель молока задавил своей рекламой что молоко стало преобладающим на полке в магазине, а потом в один прекрасный день выпустил прокисшее магазин виноват?
Jirabus
21.07.2024 09:36Это к слову, что в штатах нет коррупции, ага)
HardWrMan
21.07.2024 09:36Ну, справедливости ради следует сказать, что её там действительно практически нет. Она там на большую часть узаконена. Ты вполне легально можешь принести "донат" сенатору и он будет лоббировать твои интересы в конгрессе. Легальность вопроса в том, что ты платишь налоги с каждого подобного "доната".
Jirabus
21.07.2024 09:36Мне кажется, что подобные донаты это небольшие суммы, иначе у налоговой будет много вопросов к дающему. Поэтому теневой занос по этой схеме мне представляется на несколько порядков больше. Но всегда можно прикрыться какой то справкой на маленькую сумму.
Легальный лоббизм лишь ширма, кмк. "Да, этот парень занёс мне аж 20 штук баксов, вот справка, поэтому я так яростно отстаиваю его интересы в Конгрессе" и аккуратно задвигает чемодан с кешем на пару лямов под кровать.
"Люди верят" (с) Формула любви
ViacheslavNk
21.07.2024 09:36Ну все же антивирус много что делает, что бы делать антивирус к примеру на уровне Касперского, Аваста нужно создавать “подкомпанию”, разрабы, тестеры, аналитики и поскольку это не основной бизнес компании то практически наверняка ее продукт будет хуже.
Что-то подобное случилось с VMWare она делала отдельный продукт для бэкапов, но в итоге по качеству этот продукт уступал продуктам от компаний, которые специализировались на бэкапе.
DikSoft
21.07.2024 09:36+3В России практически нет решений CrowdStrike, поэтому глобальный сбой не коснулся страны
Зато в России распространён InfoWatch... Та ещё зараза. Был свидетелем утреннего BSOD у сотен ПК, где это прекрасное поделие было установлено.
Когда эта же компания Crowd Strike роняла недавно Debian и RHEL - всем было фиолетово.
Просто не дело ставить такие вещи на уровне драйверов ядра. Кому конкретно не повезёт, Windows, MAC или Linux, в следующий раз - вопрос случая. Наезд на MS - голимый хайп. Просто их почему-то оказалось больше.
ZirakZigil
21.07.2024 09:36Просто не дело ставить такие вещи на уровне драйверов ядра
Иначе никак. Рано или поздно через 0day установится в систему ядерный уже вредонос, и с этого момента никакие ваши юзермодные антивирусы ничего ему не сделают.
x89377
21.07.2024 09:36+2Немного смешно читать такие расследования. Такие ситуации могут произойти когда угодно при текущем уровне зарубежных (индийских) корпоративных администраторов. Часто общаюсь с такими - полный нуль знаний и большая тяга к рейту 100$/h
HardWrMan
21.07.2024 09:36+7А вы знали, что в в 2010 году у антивируса MacAfee случился косяк с Windows XP, который положил половину западного Интернета.
Это обошлось компании так дорого, что они вынуждены были продаться компании Intel. Человек, который тогда был техническим директором (CTO) MacAfee, сейчас является ... генеральным директором (CEO) Crowdstrike (George Kurtz) и антивируса Falcon, который положил аэропорты :)
https://www.hindustantimes.com/trending/crowdstrike-ceo-george-kurtz-was-cto-of-mcafee-in-2010-global-tech-disaster-101721471586633.html
А вы верите в совпадения? киселёв.жпг
suncity
21.07.2024 09:36https://www.itpro.com/624721/qa-george-kurtz-cto-mcafee
Все знают, но команды освещать небыло. Народ не поверит в "простое совпадение"
Mike-M
21.07.2024 09:36Помнится, у McAfee были проблемы не только с операционными системами, но и с программами резервного копирования/восстановления.
LeToan
21.07.2024 09:36+4неполадки коснулись систем аэропортов от Амстердама до Цюриха и от Сингапура до Гонконга.
Вот это размах, от Сингапура до Гонконга.... от Амстердама до Цюриха.
randomsimplenumber
21.07.2024 09:36Кто сказал, что промежуток между городами соответствует ортодромии? Может от Амстердама до Цюриха через Калифорнию и Владивосток? Правильное использование фигуры речи - не мой конь ;)
Molchaliviy
21.07.2024 09:36+1Слушайте, а я вот не въезжаю: серьёзные конторы, компов дохрена и нет ни одного тестового? Ну чтобы обновление системы, ПО, приложения сначала проверить на тестовом и только потом, если на тестовом не будет проблем, разрешить к установке на боевых.
То есть, кибербезопасности везде дохрена, но приходит косорукий обновляльщик и всё, мы ему доверяем по умолчанию, после чего "глобальный сбой, глобальный сбой"?HardWrMan
21.07.2024 09:36+1Мир PC слишком разнообразен. Тестовый комп не спасёт, если затрагивается какая-то особая комбинация из железа (а через него - драйверов), ОС и установленных программ. Это вам не яблочное поделие, где все устройства как однояйцевые близнецы.
doctorw
21.07.2024 09:36Какова вероятность, что по всему миру в аэропортах и.т.п. будет точно такая, идентичная у всех, комбинация железа и софта? Полагаю, что вероятность этого стремится к нулю.
Думаю, у Crowdstrike была статистика по тому, какие комбинации железа и софта используют их клиенты, хотя бы в разрезе CPU, MB, OS version. Сделать тестовые стенды-ПК в наиболее частых комбинациях вполне реально, хотя бы по версии ОС. Штук 10 от силы. Не думаю, что это сложно для компании, у которой клиенты по всему миру.
Почти наверняка про*б с BSoD можно было поймать на одном из 10 стендов.P.S. А даже если бы и не поймали, то проблема бы скорее всего затронула гораздо меньшее количество клиентов, ввиду того по каким выборкам были построены стенды.
tbl
21.07.2024 09:36Судя по отзывам о качестве техподдержки в CrowdStrike, тестирование, возможно, у них тоже не на высоте. Конвергентная эволюция этих отделов в компании заставляет их принимать одинаковую форму.
HardWrMan
21.07.2024 09:36+1Какова вероятность, что по всему миру в аэропортах и.т.п. будет точно такая, идентичная у всех, комбинация железа и софта? Полагаю, что вероятность этого стремится к нулю.
Больше, чем вы думаете. Это как с банковской средой, с которой я имел честь иметь дело лично: допускается лишь определённые конфигурации ПК с определённым набором софта. Это записано прямо в реестре ВНД. Авиация (как и железная дорога) - это практически военная организация и со строгостью "одинаковости" технического обеспечения там полный порядок. А конкретно для авиации - ещё и требования ко всяким сертификациям, ибо никто не хочет уронить самолётик на пару сотен душ.
В остальном согласен: у производителя такой значимости должны быть в тестовом парке все типовые для каждого клиента конфигурации ПК.
doctorw
21.07.2024 09:36Я думаю, что такая типовая конфигурация будет по регламентам строго в рамках одного аэропорта, вокзала, но не обязательно одинаковой для всех аэропортов и вокзалов. Хотя бы потому, что регламенты и требования к конфигурации могут меняться со временем и всех могут не успеть проверить на соответствие. Получится некоторый шлейф из регламентированных конфигураций.
suncity
21.07.2024 09:36Майкрософт и кибербезопасность... !? даже не смешно
Там закладки встроены априори. Столкнулись в 2015 году. За руку поймали. С тех пор иллюзий не питаем.
xaosxaos2
21.07.2024 09:36+1Надо было синий экран заменить на билборд. "Здесь могла бы быть ваша реклама" :)
stan1901
21.07.2024 09:36Интересно, как получилось, что обновление автоматически накатилось не просто на клиентские системы (с этим всё понятно, это нормально), но и на системы без пользователей - серверные и всякие электронные табло. По идее, они должны находиться в защищённом контуре организации на фиксированной версии ОС без выхода в Интернет. Поздравляем экспертов информационной безопасности и инфраструктуры по всему миру, они получили замечательный пример, как делать не надо.
randomsimplenumber
21.07.2024 09:36Электронное табло в аэропорту - огромная система с сотнями дисплеев. И информация там постоянно обновляется, так что в закрытом контуре нужно пробить дырку, и не одну.
aaoo
21.07.2024 09:36а зачем там дырки в этой закрытой системе? ну и что, что большая система. если разнесена в пространстве - VPN, если просто много - разбить на сегменты, но вот для чего ей во внешний мир суваться? ещё вопрос про системы экстренных служб? как вообще их машины оказались во внешнем контуре с интернетом? соглашусь со stan1901 - так делать не надо))
Kubatai
21.07.2024 09:36Мы же говорим не про сам Windows, а про ПО CrowdStrike. Скорее всего для всех машин с CrowdStrike есть доступ до серверов CrowdStrike для оперативного обновления ПО(Либо прямой, либо через Мастера CrowdStrike в корпоративной сети).
Mike-M
21.07.2024 09:36Четвёртую по величине авиакомпанию США Southwest Airlines сбой не затронул, поскольку перевозчик использует Windows 3.1 в своих системах. Выпущенная в 1992 году операционная система не получает обновлений. Также Southwest использует Windows 95 для своей системы планирования персонала.
Вывод: шанс нарваться на проблемы из-за обновлений многократно выше, чем из-за действий злоумышленников.
Глава Tesla Илон Маск заявил, что сбой парализовал цепочку поставок автомобилей. Он сообщил, что автокомпания прекратила использовать ПО CrowdStrike и удалила его из всех своих систем.
И это единственное правильное решение.
компании, которые сократили IT-персонал или передали свои IT-задачи на аутсорсинг, столкнутся со сложностями при решении этой проблемы.
Руководители, нынешние и будущие! Это вам, на заметку!
Министерство цифрового развития РФ сообщило, что ситуация с Microsoft подчёркивает важность импортозамещения зарубежного ПО.
Минцифры воспользовалось ситуацией в своих интересах. Но знающие люди знают, что у импортозамещенного ПО есть другие проблемы, которых гораздо больше, чем у импортозамещаемого.
randomsimplenumber
21.07.2024 09:36Вывод: шанс нарваться на проблемы из-за обновлений многократно выше, чем из-за действий злоумышленников.
Ну да, злоумышленники не существуют, а всякие wannacry это просто шутка такая. Что дороже - выкуп или перезагрузка в safe mode?
usego
Какая-то конторка поленилась делать роллинг апдейты, а виновата по привычке винда.
drdead
представляю, как бы отреагировали, если бы falcon agent для линукса вот такое учудил. тут, конечно же, ни у кого линукс виноват бы не был
ViacheslavNk
Так более того, собственно Линукс они тоже роняли совсем недавно
CrowdStrike broke Debian and Rocky Linux months ago, but no one noticed
https://news.ycombinator.com/item?id=41018029
ibein
Когда какая-то конторка своим апдейтом, способна уронить в легкую твою систему.
Что поделаешь, ты ведь маленькая компания, способная только иконки перерисовывать да на презентациях по ушам ездить.
usego
Работая на уровне ядра, уронить систему как 2 пальца. Любую.
ibein
Учитывая что ребята на винде 92-95 годиков и не заметили всей этой движухи, то возможно и любую, да не любую....
Gorthauer87
Неуловимый Джо машет ручкой. А ещё вспоминается анекдот про советский ламповый компьютер.
suncity
почему-то считал, что эта детская мелкомягкая болезнь канула в лета, когда драйвера выполнялись на нулевом кольце защиты, вместе с ядром. А так конечно, любой криво написаный драйвер способен нагнуть пол-мира в позу пьющего пони.
прошло 30 лет, ничего не поменялось ! ...Всемирная история, Банк Империал
Но до середины начала 2000х было еще хуже, всего две команды выполненные под пользователем вешали всю систему: cli + jmp to cli
такое кривое ядро проще переписать заново, чем пытаться реанимировать.
HardWrMan
За любые глюки винды по традиции принято винить лично Билла Гейтса. И не важно, что он уже не имел никакого отношения ни к коду чуть ранее, ни к самой компании сейчас. Такова природа людей: винить надо того, кто на слуху.
ahhilless
Это говорит о подходе к тестированию. Недавно столкнулся с битрикс24 такое же. Вышло обновление десктопного клиента и на компах с win10 32bit оно крашится (не возможно запустить на 32 bit). То-есть разработчик не разу не запустил его на данной ОС и выкатил в продакшен. Поддержка прислала бетту спустя 4 суток. :)
usego
Всегда надо исходить из того, что кто-то что-то пропустит, т.е. исходить из сценария вероятного факапа. Потому и накатывают апдейты не сразу на весь мир. Естественно, и в архитектуру, позволяющую релизить процентуально надо вложиться. А вот на это очень многие забивают, надеясь, что QA-индусы прикроют риски.