Электронные биржи, где ведется торговля ценными бумагами, проводят десятки тысяч транзакций за секунду. Удачными или нет будут торги, порой решают миллисекунды. К сожалению, иногда сотрудники бирж допускают ошибки, которые оборачиваются миллионными убытками — такое случалось уже не раз, и, вероятно, будет случаться и далее. На днях стало известно о схожей ошибке, допущенной, правда, не на бирже, а в системе рекламы от Google. Стажер корпорации, проходя обучение, случайно запустил рекламную кампанию с измененной ценой клика, где в качестве рекламируемого объекта продвигался простой желтый прямоугольник. Ошибка обошлась компании в $10 млн.
Причем рекламная кампания была активна всего 45 минут, но за это время ее успели у себя разместить многие издатели. По словам представителей корпорации, деньги отзывать со счетов тех, кто разместил у себя рекламу, Google не будет.
Стоит отметить, что ошибочная рекламная кампания была запущена во время обучения стажера — кроме него собственные рекламные кампании запускали и другие стажеры. Но ошибку допустил лишь один человек, скорее всего, по недосмотру. Она оставалась незамеченной в течение 45 минут, что является целой эпохой в системах такого рода.
Ошибка заключалась еще и в том, что стажер повысил стоимость рекламы в 10 раз по сравнению со стандартным показателем. Таким образом, CPМ превысил $25. Среднерыночная цена аналогичной рекламы составляет $2-$4 за тысячу показов.
Стажер изучал систему AdX от Google, она позволяет в режиме реального времени, в формате аукциона покупать рекламные места на тысячах вебсайтов и приложений. Проблема конкретно этой рекламной кампании была еще и в том, что благодаря высокой стоимости выкупа места ее разместили многие ресурсы, участвующие в системах обмена рекламой в рекламных сетях.
Сразу после завершения рекламной кампании, стоившей $10 млн корпорация Google «приняла меры» для того, чтобы подобное впредь не повторялось.
valemak
10 миллионов долларов будут теперь у него постепенно высчитывать из зарплаты :)
wxmaper
Ему будут показывать желтый прямоугольник и заставлять на него кликать, пока он не накликает $10 млн с ценой клика 2-4 доллара.
dimonoid
Кстати тут ничего невозможного нет, всего лишь чуть менее месяца "работы" при учете 1 клика в секунду, 4 доллара за клик.
Vnuchok
token_zero
"…за тысячу показов"
YemSalat
Учитывая что прямоугольник желтый — нe иначe Яндекс проплатил…
DollaR84
что-то я сильно сомневаюсь, что он прошел стажировку :)
valemak
Как же его теперь не взять, а убытки покрывать за чей счёт?
Если всё-таки не возьмут — у стажёра будет шикарная строчка в резюме. Не каждый может похвастаться тем, что благодаря его любознательности Google закрыла баг на десятки миллионов.
TimsTims
А еще в резюме можно написать: корпорация оплатила ему обучение на $10 млн.
TimsTims
CV: В 2018 прошёл курс Google Adwords за $10 000 000.
BalinTomsk
И теперь эту сумму можно списать с налогов за обучение.
w0den
Читая пост, вспомнил эту притчу:
valemak
Кстати, юноша не промах. Его хитрый план сработал.
Гугл, как известно, финансирует исследования на тему борьбы со старостью и смертью. Если средства будут найдены, наверняка это будет очень дорого. И если будет стоить менее 10 миллионов долларов, этого стажёра выгодно обессмертить за счёт компании и столетиями взыскивать с него долг.
CaptainFlint
Evgenym
«Да, молодой человек! Еще одно. Зайдите, пожалуйста, в отдел кадров подписать пожизненный ученический договор»
saboteur_kiev
IMHO он ему надо премию выдать.
Он нашел отличный баг.
Ведь других стажеров много, и многие могут делать подобные рекламные компании, просто с ценой поменьше, и убытки будут видны не сразу.
А теперь задумаются, чтобы стажеры делали это все в песочнике, или установленную цену будут проверять.
dimm_ddr
Странно что это изначально не делалось в песочнице. Это же очевидная мысль так делать, просто первое что приходит в голову. Хотя может быть ему просто дали больше прав чем нужно было и он сам залез куда не надо.
oteuqpegop
Nick_Shl
Не будут. Как-то я не слышал, что бы тут начинали высчитывать как в бывшем СССР. И это правильно.
Всегда поражает, почему в бСССР вся прибыль от работы работника идет в карман работодателя, а все риски ложатся на карман работника. Косяк случился в рабочее время при выполнении рабочих обязанностей? Случился не намеренно? Тогда это должна быть только проблема работодателя — качественнее отбирай/обучай персонал.
valemak
Согласен изначально. Как Вы догадались, сказано это было в шутку. А так да, в данном случае ответственности стажёр не несёт, спрос с тех кто не создал безопасные условия для обучения.
vershinin
Где это в СССР высчитывали из кармана работника? Вы уж в показаниях не путайтесь, масса «атлантов расправивших плечи» наоборот СССР пинает за то, что работник ни за что не отвечал, работал спустя рукава, являлся на работу пьяными, и если что легко увольнялся и переходил на другую работу. Вот уже после того как у нас стал процветать капитализм, вот с тех пор в странах бывшего СССР это действительно практикуется, например, если работник «Пятерочки» что-то повредил, то заплатит из своего кармана. Более того, частенько вешают недостачу на всех работников склада или магазина, хотя прямой вины не доказано. На складах Амазона тоже штрафуют работников за различные косяки и где это хвалёное «всё застраховано, за всё заплатит страховка» и «качественней обучай персонал»?
Nick_Shl
Читайте внимательнее: написано бСССР. Такое сокращение применяется на одном иммигрантском сайте. Я допускаю, что не все понимают расшифровку, поэтому в предыдущем предложении было написано без сокращений: "бывшем СССР".
RussDragon
А что, есть нынешний?
Nick_Shl
Есть "бывший СССР" — означает настоящее время и страны входившие в СССР, а есть "СССР" — означает те же страны, но в прошлом времени, когда СССР еще существовал. Такое чувство, что ответы вы не читали, увидели ликбез про "бывший СССР" и не прочитав к чему он относится решили задать глупый(в рамках текущей дискуссии) вопрос.
WondeRu
Боюсь, что Вы сильно упрощаете. Если мой сотрудник нагенерирует убыток в $10м перед моими контрагентами, то мне придётся за него выплачивать.
В умах наемных сотрудников никак не уживётся, что бизнес — это не попытка обобрать бедный персонал, а такая же трудная работа. В нелегкие времена владелец компании продаёт свои машины/квартиры (много таких примеров вокруг меня), чтобы работник мог получить зарплату, продолжать платить ипотеку и кормить своих детей.
Оффтоп: курьёз, в РФ мой сотрудник без проблем может взять ипотеку, а я — нет, т.к. владельцы бизнеса и ИП — ненадежные для банков.
Nick_Shl
Бизнес — это в первую очередь риск. Получается вы хотите все риски переложить на работников. Но если так, то и оплата должна соответствовать уровню риска.
WondeRu
Где я говорил про то, что нужно перенести ответственность на сотрудников!?
FoxCanFly
А если вы наняли сантехника кран поменять, а он вам квартиру залил парой тонн воды, будете ли вы с него ущерб спрашивать? Или это ваша проблема и надо было лучше сантехника выбирать?
shalm
Богатые тоже плачут
darthmaul
Думаю тепер он очень даже бедный…
Dvlbug
Проблемы, скорее всего, не у стажера, а у тех кто его должен был обучать. Зачем давать доступ к продакшену?! На тестовый денег на нашлось?
shalm
Я про гугль, стажер не специально это сделал, если софт допускает такие действия, не его вина, или делайте лучше защиту от дурака или инструктаж проводите лучше
Ronald_Riley
Ему ничего не будет, скорее всего даже не уволят. Это же не Россия.
roscomtheend
Подаст в bug-bounty серьёзный баг, который может обойтись компании в 10млн.
v1000
Если подумать в относительных числах, это все равно что сказать что человек потратил лишнюю спичку, когда он прикуривал и она у него потухла от порыва ветра
Barafu_Albino_Cheetah
Тут скорее человек пошёл в отведённую курилку, зажёг спичку, а курилка взорвалась. Вот и выясняй теперь…
artiom_n
vanxant
Забавно, что всякие форексы умеют устраивать для юзеров «спортлото», в смысле виртуальную реальность, а гугл такое не осилил даже для своих сотрудников.
interrupt_controller
+
Должна же быть тестовая среда, ну
vectorplus
А нигде не сказано, что они не упражнялись в песочнице до того, как иx пустили в поле.
bak
Гуглу скорее всего вообще пофиг на эти 10 лямов.
nick_gabpe
Это зарплата крутого специалиста за 50 лет. Всё-таки достаточно весомо.
OnYourLips
Ну не 50, а 5, но все равно это много.
Polaris99
2 млн в год? Это где такие специалисты работают? Точно с менеджементом не перепутали?
Sergunka
Это зарплата в Гугле спеца средней руки на L5 за 20-25 лет, крутой L7 покроет убытки за лет 15
www.levels.fyi/SE/Google/Facebook/Microsoft
crazymassa
количество сотрудников гугл — 85000, было б дело у нас, сняли бы с зарплаты у всех понемногу.
занятная цифра, количество сотрудников у амазона — 613 000 — они бы и не заметили минус 16$
vmarunin
Что-то мне кажется, что $117 для большиства сотрудников Гугла не так существенно, как $16 для сотрудников Амазона.
Ибо в первом случае это высокооплачиваемые программисты, а во втором — низкооплачиваемые работники складов.
PS Там так не принято, снимать у всех.
ptica_filin
Это чистая прибыль гугла за 6 часов.
Если считать по данным 2017 года.
Stas911
Не думаю, понятно, что никого не уволят, но кого-то озаботят, чтобы помеять софт и процессы и такого больше не было. А если б он порнобаннер зафигачил или еще что похуже? Жалкие 10 лямов убытков на фоне репутационного ущерба бы показались детским лепетом.
ivlis
liability insurance же.
PaulMaly
Ждём новый продукт от Гугл с логотипом в виде желтого прямоугольника)))
lostpassword
А можно где-то увидеть, как выглядело это рекламное объявление?
perfect_genius
Наверно, как у Yota, только жёлтый.
servekon
Гораздо интереснее узнать, что Гугл платит реальные деньги из своего бюджета для организации тренировок стажеров. Видимо для них раскрытие реальных алгоритмов будет стоить намного дороже, чем обучать стажеров таким образом.
Sergunka
С каких пор стажерам стали давать права доступа в продакшин?
На самом деле речь идет о сотрудниках гугла trainees которые проходили трейнинг в «боевых» условиях
На самом деле это «косяк» тренера, а не перца кто там кнопку нажал.
Stas911
А у них не принято там какой-то 4eyes control делать? Если легким движением один человек может фигануть в прод что угодно — это явно процессы надо править
Sergunka
Вполне возможно, что лажанулся реальный сотрудник (все указывает на это и явно завышенная цена рекламы и охотность Гугла прокомментировать событие), но для прессы придумали сказку про тренинг и тд. У Гугла и так акции в находятся в коррекции, а если просочится новость, что и сотрудники еще немного лажают так вообще может пойти негативный тренд.
Bedal
Так продали-то прямоугольник? Могли бы на одной продаже лицензии на их производство отбить потери.
gban
А вообще — практически как Малевич, только желтый.
Stas911
Он наверняка успел оскорбить чьи-то чувства
dimm_ddr
Азиатов например. Или наоборот, всех остальных — как это, азиатов гугл рекламирует, а афроамериканцев, например — нет. Ну а вообще и тех, и тех сразу.
Segrio
Успели купить за 45 мин?
gban
Не, это мой, он гораздо прямоугольнее и желтее…
mSnus
Так они платили за показы, а не за клики? Нефиг! Или кто-то скликал на 10 млн жёлтых прямоугольников??
vmarunin
На биржах платят за показы.
Идёт аукцион, всем шлётся запрос «почём вы покажете рекламу такому-то господину» и все известные свойства этого господина (а знают они много!)
Кто даст большую цену, тот и покажет.
Часто идёт по second-price (то есть заплатит не свою ставку, а ставку номер 2)
user343
Заодно можно было выявить ботнеты, кликающие куда попало. Убытки рекламщикам от таких хакеров дороже обходятся.
«Рекламный ботнет» Methbot приносит своим владельцам $3-$5 млн в день (2016)
habr.com/company/kingservers/blog/318172
Cim
А комментарии-то «говорящие». Привык народ, что в пост-СССРном наебизнесе хозяин всегда спихивает ответственность на работника. Конечно, это удобно: разбил человек вазу на скользком полу — выпишем человеку штраф и заставим компенсировать. Но не покрытие у пола сменим.
Не важно, для гугла 10 миллионов это деньги или «спичка». Важно, что нормальные люди из таких проишествий делают выводы и на ретроспективе придумывают, как такое не повторилось впредь Может, еще и новые сценарии сочиняют.
Теперь, наверное, видно, что стоит стажеров пускать в прод под особыми аккаунтами с ограниченной максимальной ценой рекламной компании. И проводить больше ревью, при тыкании кнопок в проде.
Ситуации с фейлами были в моей практике: и я фейлил, и другие фейлили. Никто не списывал с сотрудников потенциально утерянную прибыль с того, что, например, продакшен не работал из-за ошибки деплоя. Просто брали и исключали такие ошибки на будущее.
romxx
Какая аудитория у ресурса — такие и комменты, чему тут удивляться. Скорее исследовать и строить «персональный профиль российского IT-шника».
valemak
ИМХО, абсолютное большинство комментирующих отлично понимает, что для стажёра не будет репрессивных последствий (хотя бы потому, что он в этой ситуации не виноват).
Но сама история получилась забавная, а пресловутые 10 миллионов убытка мизерны для корпорации, но огромны для любого из нас. Каждый из комментирующих волей-неволей проецирует масштаб случившегося на самого себя и шутки про компенсацию миллионов бедным студентом рождаются сами собой.
scarab
У Вас какое-то странное представление о «пост-СССРном». Не скажу за все бывшие республики, но по ТК РФ переложить ответственность на работника так просто не получится. Это надо либо договор о полной мат.ответственности (а для грамотного составления такого договора надо выполнить много условий, чтобы его не признали ничтожным), либо доказать злой умысел. Вот так вот просто взять и повесить косяк на работника — нельзя.
batyrmastyr
Может и нельзя, но работники торговых сетей об этом не знают и компенсируют всю недостачу из собственного кармана. «То ли он кого избил, то ли его избили, но осадок остался».
Nick_Shl
Проблема в том, что Россия и пост-совок живет не по законам, а по понятиям…
scarab
Дело вкуса — выбирать, с кем и как работать. Немало тех, кто работает по закону. Естественно, зарплаты в таких местах несколько ниже. Тут уж кому что.
nanshakov
Устраиваются на полу белую зп потому что иначе никак, и получают по 7-8к МРОТА из 20, остальное списывают. Либо так еще как то через неполный раб. день можно.
artiom_n
Да, это как раз тот момент, когда возможно что-то надо изменить в своей жизни.
Например, упаковать чемоданы и драпануть в Гватемалу.
Либо записаться наёмником в ЧВК: там гугл не отыщет.
MOPOH
chinacoolhacker
Тестовый аккаунт с 10кк$ на счету?
Видимо гуглу всё-тки пофиг на эти «копейки», если они не лимитировали счёт аккаунта.
ninJo
Было бы забавно, если по схожей ошибке за час гугл потратил бы 100500 биллионов долларов и обанкротился =)
striver
С гуглом ляжет очень много чего, и как итог — рецессия вне очереди. Оно вам надо?
ninJo
Да это я так, на миг представил такую абсурдную ситуацию исключительно шалости ради. На самом то деле я более чем уверен, что подобного конфуза прозойти не может, и уж тем более не хотел бы лишиться гугла. Для всего человечества это было бы огромной потерей.
striver
Не, ну такая ситуация может быть. Проблема не в том, что мы потеряем одно имя в строке корпораций, заменителей много. Вопрос в том, что за собой потянет Гугл. Как минимум панический настрой и т.д. падение стоимости АйТи компаний ориентированные на интернет.
dimm_ddr
Интересный сценарий для смерти цивилизации — стажер гугла проставил слишком большую цену за рекламу. нет, я конечно понимаю что даже разорение гугла цивилизацию не убьет, но трешовый фильм вроде железного неба вполне можно было бы по такому сценарию снять.
ninJo
Хотя думаю если схожую ошибку допустил бы рядовой пользователь… или скажем небольшой бизнес..)
striver
Так они и допускаются. У гугла другие масштабы.
LexS007
В пятницу вечером в офисе был найден мертвым сотрудник Google, совпадение ли?
glowingsword
Не думаю. Вероятно чья-то месть за жёлтые прямоугольники.
glioma
Сильно сомневаюсь, что это была случайная ошибка. Просто очередной социальный эксперимент гугл. Большие корпорации учатся управлять охлосом научными методами. Что бы все всегда были довольны.
striver
Вы недооцениваете возможности просто человека.
glioma
Скорее переоцениваю.
striver
Тогда ваши посты здесь — бессмысленны.
Kocmohabt314
Здесь работает бритва Хэнлона: Никогда не приписывайте злому умыслу то, что вполне можно объяснить глупостью.
Правда глупость в этом случае слишком резкое слово, думаю больше подойдет невнимательность.
Morphine43
Как я понимаю, аудитория хабры представлена людьми, работающими как на «западные» компании, так и на «пост-советские». Есть ли у кого-то личные примеры подобных фейлов? просто для статистики сравнить в каких компаниях и как решаются такие вопросы
striver
Не личный опыт, но знакомый рассказывал (кантора в пост-совке работа на аутсорс), что по причине плохой работы в плане тестирования, компания на релизе потеряла миллион долларов США. Я прям опешил, говорю, что сделали с этим человеком, в ответ: «ничего». Закрыли дырку и далее работают.
Stas911
Я уже писал где-то, что если бы в ИТ-шников уволяли за каждый косяк, на котором потеряли бабло — там остались бы только уборщицы и охранники. Посмотрите кейноут Вернера Вогельса за этот год — он там рассказывал про черный день в Амазон
springimport
Стоит воспринимать миллион как миллион рублей и тогда станет понятно почему так.
Тем более что тот самый миллион был миллионом в 90 и сейчас от него осталась с половину.
striver
Перефразируйте то, что сказали.
EvgeniyNuAfanasievich
лям $ для них, это типа ляма рублей для нас.
Ценность миллиона с 90х годов упала примерно на 50% из-за инфляции.
striver
Действия были лет 5 назад, не знаю, что там у кого упало. Но, кантора на аусорсе, то есть «наша». Да, им, возможно это норм. Но мы обсуждаем косяк у них на 10 лямов и это, как бы, не мало. Была бы это мельче контора, то этот лям подкосил бы даже и западных товарищей.
dimm_ddr
Совершенно не согласен. Их зарплаты на порядок ниже чем у нас (если брать рубли к долларам 1 к 1, а не реальную стоимость). То есть в США нормальная зарплата будет несколько тысяч в месяц, а в РФ — несколько десятков тысяч. То же самое и с ценами — нет, там тоже есть квартиры и дома за миллионы, но можно и за несколько сотен тысяч найти. А попробуйте купить квартиру в РФ не в самом захолустье за 200-300 тысяч.
Helium4
Могу производственным опытом поделится, компания не «западная».
Был случай изменения рабочих рецептур продукции, когда протестировали только четверть из них. Это все в режиме предновогоднего угара, когда надо отпустить людей на 3 недели на каникулы и закрыть все заказы на месяц вперед. Директор в телефонном режиме подтвердил изменения, товар выпустили и отгрузили.
И тут, на недокументированном параметре сырья, о которой знает только шеф, накрываются все тесты, включая уже протестированные рецептуры.
Директор в отказ, я не мог сказать такого; возврат всей продукции, надо переделывать заново; компенсировать убытки, срыв каникул у рабочих. Естественно, увольнять никого не собирались, кто же будет компенсировать убытки? Повесить 10-15 тыс.$ тоже пытались, но тут скорее была попытка взять «на слабо», а вдруг бы удалось надавить.
В общем, нервный срыв получили все, руководство, продажники, которые потом вылизывали задницу клиентам, финансисты, технологи, мастер, за то что срочно отгрузил, гастарбайтеры, за то что думали только о сгорающих билетах и Новом Годе на работе.
Осадочек потом долго остается, плюс дополнительная мера давления от руководства, типа раз накосячили, так поработайте подольше, побольше и т.д.
Peacemaker
Программа для записи телефонных звонков на смартфоне — жизненно необходима.
Пару раз сильно выручала в спорах с супругой, когда она слышала одно, а понимала другое, додумывала недостающее, и получался скандал.
Helium4
Не на всех производствах получается пользоваться смартфонами. Представьте микронный железный порошок в воздухе, который пролазить через любые щели. Растворители, которые убивают пластик до уровня липкой гадости. Или 75кВт вибраторов на прессе, когда пломбы выпадают у операторов за 20 метров. Всякое бывает.
Рецепт, чтоб такой гадости не происходило простой, по крайней мере в промышленности — все важные решения и изменения в продакшене — только в письменной форме, да хоть в виде смс/сообщения мессенджера, если очень сильно горит.
Kocmohabt314
У меня был косяк более 10 лет назад, тупо скопировал не тот файл из архива. Не оштрафовали и не уволили, но и никаких выводов сделано не было, то есть подобная ошибка могла повториться. Правда материальный ущерб был небольшой (только переработки админам чтобы откатить все), но перед людьми которым пришлось работать сверхурочно было очень и очень неудобно, честно говоря, лучше бы оштрафовали.
dimastrow
True American`s hero.
qwertyqwerty
Надо было на свою партнерку лить.
rocket
На фразе «забирать деньги у издателей google не будет» сильно засомневался в правдивости информации. Например в adsense списывают только в путь за подобного рода «Недопустимый трафик». Говорю как издатель, каждый месяц сталкивающийся с такими списаниями в минус.