Всем привет, с вами снова Роман Поборчий, и сегодня для разнообразия мы смотрим доклад не хардкорно-технический, а, скорее, менеджерский. Он был представлен на SQADays-20. Автор — Алексей i_vino Виноградов, и его выступление посвящено культу карго, синдрому not-invented-here и эффекту Даннинга-Крюгера.
Слайды тут:
Доклад просветительский, и за это Алексею спасибо. Людям обязательно нужно время от времени рассказывать про концептуальные проблемы. Это трудно, и КПД у этой работы небольшой, но делать её всё равно надо, потому что если не мы, то кто.
Я сам до знакомства с докладом не смог бы уверенно ответить, в чём состоит эффект Даннинга-Крюгера, и встречал немало людей, незнакомых с другими темами доклада.
Вот узнал я про три (спойлер: четыре, там есть бонус-трек) типовых поломки мозга, которые часто встречаются в IT-компаниях. Что мне нужно делать с этим знанием? Как себя вести?
В ответ на этот вопрос я никогда не принимаю «рассказал, просто чтобы знали». В обычной жизни мы не информируем людей о чём-то просто так. Почти всегда мы ждём конкретной реакции на нашу информацию. Иногда легко догадаться о том, какая это реакция, а иногда слушателю надо это явно сказать.
Хотим ли мы, чтобы люди распознавали эти проблемы в других? В себе? Как? Как бороться, если распознал? На эти вопросы вряд ли есть однозначный ответ, но как раз тут личный опыт и мнение докладчика были бы весьма уместны.
В двух из четырёх пунктов (not invented here и утонувшие деньги) конкретные рекомендации есть, и это хорошо. Но культ карго и особенно эффект Даннинга-Крюгера выглядят оторванными от практики.
Я боюсь, зрители ушли с доклада с мыслью, что карго-культ — это где-то далеко, у папуасов. Мы-то скрам нормально внедряем: Вася книжку читал. И единственному junior-тестировщику организовывать процесс тестирования не доверим. Ни-ни. Он уже полгода как не junior.
На самом же деле, вся наша жизнь пропитана проявлениями культа карго и, возможно, стоило людям на них указать, даже есть это вызовет у них баттхёрт. Особенно если это вызовет у них баттхёрт.
У кого в компании пароли автоматически протухают раз в квартал, и пока не сменишь, в сеть не зайти?
Кто пользуется интернет-банком с телефона и получает SMS для двухфакторной авторизации на этот же телефон?
У кого в компании есть целевые метрики качества, за которыми вы следите? Конверсии, user retention, user engagement, вот это всё? А кто понимает, как посчитать погрешность этих измерений? А кто при этом говорит «we are a data-driven company»?
Откровения гуглового чувака все читали? У меня в ленте фейсбука десятка полтора перепостов, больше в этом году было только ждунов, так что текст популярный. Там разумно всё, но применять эту мудрость надо осмысленно. Например: нанимайте HR как можно раньше; когда у вас 30 человек в компании, уже пора. У кого в компании есть HR? А у кого HR делает что-то более полезное, чем записи в трудовые книжки? Кто вообще понимает, в чём состоит функция HR?
В общем, если бы удалось такими примерами попасть в сумме хотя бы в половину аудитории, то кто-нибудь, может, и задумался бы, насколько много вокруг вещей, которые мы в точности повторяем по не подходящим для нашего случая рекомендациям.
Этот пункт, мне кажется, изложен хорошо. Предпочтение бесплатных решений, энергичный поиск недостатков в сторонних продуктах и прочие эффекты, действительно, имеют место. По таким симптомам можно самому себе ставить диагноз, и рекомендации, собранные на слайде 24, вполне понятны и полезны.
Реплика в сторону: Джоэл Спольский на слайде подписан как CEO StackOverflow, а не как автор блога Joel on Software. Это правильно, сейчас он в качестве CEO известен больше, но мне каждый раз удивительно это понимать. А есть люди, которые его блог уже не читали. Чувствую себя динозавром.
Люди, которые после рассказа Алексея посчитают, что поняли эффект Даннинга-Крюгера, послужат его живыми проявлениями. Но не только они. Поговорки «любой таксист знает, как управлять страной» и «купил зеркалку — уже фотограф» тоже про этот эффект.
В целом, примеров из практики и личного опыта докладчика особенно не хватает именно в этой секции, тут рассказ получился на 100% теоретический. Чтобы задуматься и что-то исправить в мире и в себе, как и в случае с культом карго, зритель должен узнать себя в отрицательном герое. А героя-то и нет.
Чтобы героя вызвать, я бы стал искать проявления типовых новичковых ошибок в разных областях, связанных с IT. Ошибок, которые совершаются «из здравого смысла» и уходят, стоит только человеку подучить матчасть. Например, общаясь с разными людьми про a/b тестирование, я спрашиваю, каким статистическим критерием они пользуются. Во многих случаях оказывается, что никаким, а просто сравнивают средние значения метрик в эксельчике и радуются, если оказалось «больше на 5%», вот такая у них big data. Вспомнил бы какую-нибудь проклятую должность, на которой каждый вновь пришедший человек обязательно предпринимал одни и те же действия, удивляясь, как это предшественники не решили всех задач таким очевидным способом. К тому времени, как ошибочность способа становилась очевидна, пора уже было готовить три конверта.
В общем, и тут, я думаю, зрителям не было очевидно, что эффект Даннинга-Крюгера — не какая-то экзотика, а касается буквально всех.
Прежде чем комментировать конкретные элементы, хочу отметить две вещи, которые Алексей мог сделать лучше в шаблоне презентации.
Во-первых, место логотипа, если требуется его включить — в правом нижнем углу. Справа сверху он как минимум ограничивает длину заголовка слайда, одно это — достаточный повод его подвинуть.
Во-вторых, шаблоны с рамками сильно ограничивают полёт мысли. Они не только уменьшают доступное место, но и не дают обрезать какой-нибудь объект или картинку границей слайда. Это неудобно.
Всем докладчикам говорю и не устану это повторять: картинки должны быть крупными. Если на слайде по смыслу нет ничего, кроме картинки, на нём и по факту не должно быть ничего, кроме картинки.
Ниже мы увидим ещё примеры, а прямо сейчас посмотрите на два слайда, которые особенно сильно просят их исправить:
В первом случае весь содержательный контент состоит из графика, причём заголовки графика и обрамляющего слайда совпадают с точностью до языка. Вывод: обрамляющий слайд не нужен.
Во втором случае на слайде не только ничего нет, кроме картинки, но и картинка уже удобно имеет формат 4х3. Её очень легко растянуть на весь экран, и так и надо поступать.
Центральной симметрии стоит избегать, это скажет любой специалист по композиции, а не только такая жертва эффекта Даннинга-Крюгера, как я. Кроме реального, но труднодоказуемого эстетического ущерба, расположение элементов по центру сверху вниз неэффективно расходует место. Это заметно, например, на слайдах с цитатами, их довольно много в презентации. Сравните (слайд 31):
Убрав повторяющийся на нескольких слайдах заголовок и переместив текст цитаты из среднего положения направо, мы освобождаем место для крупного портрета (на Льва Толстого, кажется, он всё равно похож), а также получаем естественное место для подписи. Лево-право в таких слайдах можно чередовать в зависимости от того, куда повёрнуто лицо на портрете (должно получаться к центру, а не к краю).
Ещё пример — слайд про утонувшие деньги:
Большая картинка и уход от центральной симметрии делают его более запоминающимся.
А вот выравнивание, напротив, важно. Его не просто не нужно избегать, его отсутствие делает слайды неаккуратными. В нашем случае это случилось в нескольких местах. Например, обратите внимание, что портреты Даннинга и Крюгера чуть-чуть отличаются по соотношению сторон и расположению, возникает визуальный дискомфорт. Для кого-то это прозвучит как тапочки для тараканов, но картинки для презентации нужно кадрировать.
На мой вкус, текста на слайдах многовато. Частый (псевдо)аргумент за обилие слов — забота о тех, кто не был на выступлении. Для них стоит написать статью и дать на неё ссылку в презентации. Тем, кто просит слайды лично у вас, можно присылать сразу эту статью. Зато на докладе зрителю не придётся разрываться между слайдами и докладчиком и сличать текст, который вы говорите, с тем, который вы демонстрируете:
Убираем многократное «в этой области», склеиваем первые два буллета, и людям нужно читать гораздо меньше. Я бы ещё показывал текст на этом слайде последовательно, чтобы зрители не обгоняли мысль докладчика.
Это не единственный и даже не самый тяжёлый слайд с избытком текста, но обходиться с ними со всеми надо примерно одинаково.
Обратите внимание, что Алексей выступит на питерском Гейзенбаге в июне. Доклад у него в этот раз будет технический. Интересного материала у Алексея в запасе много, так что ждём с нетерпением.
Если вы хотите получить обратную связь по своему выступлению, то я с радостью вам её предоставлю.
Слайды тут:
Сюжет
Доклад просветительский, и за это Алексею спасибо. Людям обязательно нужно время от времени рассказывать про концептуальные проблемы. Это трудно, и КПД у этой работы небольшой, но делать её всё равно надо, потому что если не мы, то кто.
Я сам до знакомства с докладом не смог бы уверенно ответить, в чём состоит эффект Даннинга-Крюгера, и встречал немало людей, незнакомых с другими темами доклада.
Выводы
Вот узнал я про три (спойлер: четыре, там есть бонус-трек) типовых поломки мозга, которые часто встречаются в IT-компаниях. Что мне нужно делать с этим знанием? Как себя вести?
В ответ на этот вопрос я никогда не принимаю «рассказал, просто чтобы знали». В обычной жизни мы не информируем людей о чём-то просто так. Почти всегда мы ждём конкретной реакции на нашу информацию. Иногда легко догадаться о том, какая это реакция, а иногда слушателю надо это явно сказать.
Хотим ли мы, чтобы люди распознавали эти проблемы в других? В себе? Как? Как бороться, если распознал? На эти вопросы вряд ли есть однозначный ответ, но как раз тут личный опыт и мнение докладчика были бы весьма уместны.
В двух из четырёх пунктов (not invented here и утонувшие деньги) конкретные рекомендации есть, и это хорошо. Но культ карго и особенно эффект Даннинга-Крюгера выглядят оторванными от практики.
Карго-культ
Я боюсь, зрители ушли с доклада с мыслью, что карго-культ — это где-то далеко, у папуасов. Мы-то скрам нормально внедряем: Вася книжку читал. И единственному junior-тестировщику организовывать процесс тестирования не доверим. Ни-ни. Он уже полгода как не junior.
На самом же деле, вся наша жизнь пропитана проявлениями культа карго и, возможно, стоило людям на них указать, даже есть это вызовет у них баттхёрт. Особенно если это вызовет у них баттхёрт.
У кого в компании пароли автоматически протухают раз в квартал, и пока не сменишь, в сеть не зайти?
Кто пользуется интернет-банком с телефона и получает SMS для двухфакторной авторизации на этот же телефон?
У кого в компании есть целевые метрики качества, за которыми вы следите? Конверсии, user retention, user engagement, вот это всё? А кто понимает, как посчитать погрешность этих измерений? А кто при этом говорит «we are a data-driven company»?
Откровения гуглового чувака все читали? У меня в ленте фейсбука десятка полтора перепостов, больше в этом году было только ждунов, так что текст популярный. Там разумно всё, но применять эту мудрость надо осмысленно. Например: нанимайте HR как можно раньше; когда у вас 30 человек в компании, уже пора. У кого в компании есть HR? А у кого HR делает что-то более полезное, чем записи в трудовые книжки? Кто вообще понимает, в чём состоит функция HR?
В общем, если бы удалось такими примерами попасть в сумме хотя бы в половину аудитории, то кто-нибудь, может, и задумался бы, насколько много вокруг вещей, которые мы в точности повторяем по не подходящим для нашего случая рекомендациям.
Not invented here
Этот пункт, мне кажется, изложен хорошо. Предпочтение бесплатных решений, энергичный поиск недостатков в сторонних продуктах и прочие эффекты, действительно, имеют место. По таким симптомам можно самому себе ставить диагноз, и рекомендации, собранные на слайде 24, вполне понятны и полезны.
Реплика в сторону: Джоэл Спольский на слайде подписан как CEO StackOverflow, а не как автор блога Joel on Software. Это правильно, сейчас он в качестве CEO известен больше, но мне каждый раз удивительно это понимать. А есть люди, которые его блог уже не читали. Чувствую себя динозавром.
Эффект Даннинга-Крюгера
Люди, которые после рассказа Алексея посчитают, что поняли эффект Даннинга-Крюгера, послужат его живыми проявлениями. Но не только они. Поговорки «любой таксист знает, как управлять страной» и «купил зеркалку — уже фотограф» тоже про этот эффект.
В целом, примеров из практики и личного опыта докладчика особенно не хватает именно в этой секции, тут рассказ получился на 100% теоретический. Чтобы задуматься и что-то исправить в мире и в себе, как и в случае с культом карго, зритель должен узнать себя в отрицательном герое. А героя-то и нет.
Чтобы героя вызвать, я бы стал искать проявления типовых новичковых ошибок в разных областях, связанных с IT. Ошибок, которые совершаются «из здравого смысла» и уходят, стоит только человеку подучить матчасть. Например, общаясь с разными людьми про a/b тестирование, я спрашиваю, каким статистическим критерием они пользуются. Во многих случаях оказывается, что никаким, а просто сравнивают средние значения метрик в эксельчике и радуются, если оказалось «больше на 5%», вот такая у них big data. Вспомнил бы какую-нибудь проклятую должность, на которой каждый вновь пришедший человек обязательно предпринимал одни и те же действия, удивляясь, как это предшественники не решили всех задач таким очевидным способом. К тому времени, как ошибочность способа становилась очевидна, пора уже было готовить три конверта.
В общем, и тут, я думаю, зрителям не было очевидно, что эффект Даннинга-Крюгера — не какая-то экзотика, а касается буквально всех.
Слайды
Прежде чем комментировать конкретные элементы, хочу отметить две вещи, которые Алексей мог сделать лучше в шаблоне презентации.
Во-первых, место логотипа, если требуется его включить — в правом нижнем углу. Справа сверху он как минимум ограничивает длину заголовка слайда, одно это — достаточный повод его подвинуть.
Во-вторых, шаблоны с рамками сильно ограничивают полёт мысли. Они не только уменьшают доступное место, но и не дают обрезать какой-нибудь объект или картинку границей слайда. Это неудобно.
Изображения
Всем докладчикам говорю и не устану это повторять: картинки должны быть крупными. Если на слайде по смыслу нет ничего, кроме картинки, на нём и по факту не должно быть ничего, кроме картинки.
Ниже мы увидим ещё примеры, а прямо сейчас посмотрите на два слайда, которые особенно сильно просят их исправить:
В первом случае весь содержательный контент состоит из графика, причём заголовки графика и обрамляющего слайда совпадают с точностью до языка. Вывод: обрамляющий слайд не нужен.
Во втором случае на слайде не только ничего нет, кроме картинки, но и картинка уже удобно имеет формат 4х3. Её очень легко растянуть на весь экран, и так и надо поступать.
Симметрия
Центральной симметрии стоит избегать, это скажет любой специалист по композиции, а не только такая жертва эффекта Даннинга-Крюгера, как я. Кроме реального, но труднодоказуемого эстетического ущерба, расположение элементов по центру сверху вниз неэффективно расходует место. Это заметно, например, на слайдах с цитатами, их довольно много в презентации. Сравните (слайд 31):
Убрав повторяющийся на нескольких слайдах заголовок и переместив текст цитаты из среднего положения направо, мы освобождаем место для крупного портрета (на Льва Толстого, кажется, он всё равно похож), а также получаем естественное место для подписи. Лево-право в таких слайдах можно чередовать в зависимости от того, куда повёрнуто лицо на портрете (должно получаться к центру, а не к краю).
Ещё пример — слайд про утонувшие деньги:
Большая картинка и уход от центральной симметрии делают его более запоминающимся.
А вот выравнивание, напротив, важно. Его не просто не нужно избегать, его отсутствие делает слайды неаккуратными. В нашем случае это случилось в нескольких местах. Например, обратите внимание, что портреты Даннинга и Крюгера чуть-чуть отличаются по соотношению сторон и расположению, возникает визуальный дискомфорт. Для кого-то это прозвучит как тапочки для тараканов, но картинки для презентации нужно кадрировать.
Текст
На мой вкус, текста на слайдах многовато. Частый (псевдо)аргумент за обилие слов — забота о тех, кто не был на выступлении. Для них стоит написать статью и дать на неё ссылку в презентации. Тем, кто просит слайды лично у вас, можно присылать сразу эту статью. Зато на докладе зрителю не придётся разрываться между слайдами и докладчиком и сличать текст, который вы говорите, с тем, который вы демонстрируете:
Убираем многократное «в этой области», склеиваем первые два буллета, и людям нужно читать гораздо меньше. Я бы ещё показывал текст на этом слайде последовательно, чтобы зрители не обгоняли мысль докладчика.
Это не единственный и даже не самый тяжёлый слайд с избытком текста, но обходиться с ними со всеми надо примерно одинаково.
Анонс
Обратите внимание, что Алексей выступит на питерском Гейзенбаге в июне. Доклад у него в этот раз будет технический. Интересного материала у Алексея в запасе много, так что ждём с нетерпением.
Регулярные разборы
Если вы хотите получить обратную связь по своему выступлению, то я с радостью вам её предоставлю.
Что для этого нужно?
Всё это нужно отправить хабраюзеру p0b0rchy, то есть мне. Обещаю, что отзыв будет конструктивным и вежливым, а также осветит и положительные моменты, а не только то, что надо улучшать.
- Ссылка на видеозапись выступления.
- Ссылка на слайды.
- Заявка от автора. Без согласия самого докладчика ничего разбирать не будем.
Всё это нужно отправить хабраюзеру p0b0rchy, то есть мне. Обещаю, что отзыв будет конструктивным и вежливым, а также осветит и положительные моменты, а не только то, что надо улучшать.
Поделиться с друзьями
Комментарии (17)
Whity314
15.03.2017 18:28Таки фраза — «Я знаю, что ничего не знаю» принадлежит Сократу по свидетельству Платона, а возможно Демокриту.
p0b0rchy
15.03.2017 18:33Да, это действительно так, и в докладе есть ещё фактические неточности, но я решил их оставить за скобками разбора. Тем более, сейчас точно уже не установить, кто это сказал, живых-то свидетелей не осталось.
sdwvit
15.03.2017 22:52Фраза «Я знаю, что ничего не знаю» принадлежит Сократу по свидетельству Платона, а не самому Платону
i_vino
15.03.2017 23:48Да, вышло упс. Причем на нескольких тренировках никто не заметил (да и на самом докладе тоже). Ну ничего, еще раз микро Даннинг-Крюгер вышел)
Tortortor
«У кого в компании пароли автоматически протухают раз в квартал, и пока не сменишь, в сеть не зайти?
Кто пользуется интернет-банком с телефона и получает SMS для двухфакторной авторизации на этот же телефон?»
как это относится к карго-культу?
s-kozlov
Пример с интернет-банком прекрасно иллюстрирует идею: папуасы видели, что белые люди используют двухфакторную аутентификацию (я не знаю, как авторизация может быть двухфакторной, т.к. это проверка прав, а не логина-пароля), не поняли принципа, но решили делать «так же».
p0b0rchy
Всё верно и про аутентификацию (спасибо), и про папуасов.
amakhrov
Пример корректен только в случае, мобильное приложение как-то заранее привязано к телефону (вариант: основной пароль к интернет-банку сохранен в браузере в этом же телефоне). Тогда да, запрос смс на этот же телефон лишен смысла.
В общем случае, это же не так, да? Все равно для входа в приложение используешь пароль (знаю), и дополнительно подтверждаешь по СМС на телефон (владею). В этом случае не вижу никакой проблемы в использовании СМС.
aGGre55or
В общем случае это как раз так. Когда на смартфон посажен трой, то он сниферит пароль, а телефоном он и так владеет. Со стороны web-сервиса инверсия: он владеет паролем (хэш с солью, ага) и знает номер телефона. При взломе web-сервиса он расстаётся со всеми данными которыми владеет, т.к. и то, и другое лежит себе в БД что называется рядом.
amakhrov
Согласен с таким сценарием. Но наличие угрозы, которая нивелирует наличие двухфакторной защиты, не делает защиту бесполезной против других угроз. Например, риск потери/кражи телефона: без основного пароля аккаунт не скомпрометирован. Или утечка основного пароля (например, через уязвимость в реализации ssl, или кто-то нашел мою записную книжку с паролями, или подсмотрел, как я пароль ввожу) — без кражи телефона аккаунт все еще в порядке.
Кстати, бэкенд наверняка один и тот же для мобильного клиента и для веб-интерфейса. Как вы предложите отключать второй фактор в одном случае, оставляя его во втором?
aGGre55or
Вам просто никогда не приносили чужие телефоны пачками, Вы не занимались бирусами и не получали доступ в чужие аккаунты. В любом смартфоне достаточно информации, собираемой/используемой как прошивкой, так и системными процессами, не говоря уже о приложениях третьих сторон для компрометации всего чего попало. Локальный доступ к чему угодно = всё что из этого доступа можно получить. Вопрос времени, усилий, компетенций и ресурсов. Любая защита использующая факт локального доступа априори обречена.
p0b0rchy
А что касается автоматически протухающих паролей, то сейчас начинают звучать голоса за то, что это скорее вредит, чем помогает. Например, вот тут. Люди, не особо задумываясь, внедряют эту политику «для безопасности».
Для целей выступления, добавлю, пример не обязан быть 100% чистым, спорный, с которым не все согласятся, тоже хорош: задуматься он заставит не меньше. Главное, чтобы не полная чушь.
s-kozlov
О протухающих паролях можно продолжить:
— Кто использует пароль «основное слово + цифра», меняя цифру при протухании?
i_vino
Я слышал тоже, что это политика приводит к обратному эффекту — если «утечёт» хотя бы один из старых паролей, которые меняют раз в несколько месяцев — то актуальный пароль будет угадываться со огромной вероятностью.