Эта статья — взгляд на тестирование ММО с «другой стороны баррикад», с точки зрения геймера. Я хочу рассказать о том, как сделать альфа-тест, ЗБТ и ОБТ эффективнее. И о том, почему бета-тестеры перестают писать баг-репорты и переходят «в оппозицию» к проекту.
За свою жизнь я участвовал в ЗБТ и ОБТ примерно 30 игр. И самый главный вывод, который я для себя сделал – гейм-девелоперы совершенно не умеют распоряжаться теми людскими ресурсами в виде нескольких тысяч жаждущих прокликать весь функционал геймеров, которые им сваливаются на голову. И именно поэтому и был написан данный материал. От геймера – разработчику, сидящему по ту строну экрана. От тестера – компаниям, которые не понимают, как правильно организовать процесс тестирования усилиями игроков.
Статья разбита на четыре раздела и написана в разговорном стиле. Я по порядку разбираю ошибки разработчиков на альфа-тесте, ЗБТ/ОБТ и при наборе тестеров после релиза. Те, кто хочет конкретики без долгих прелюдий и размышлений, могут сразу листать к последнему абзацу каждого раздела и выводам.
За последние годы стало признаком хорошего тона приглашать игроков на альфа-тест: World of Tanks (2009), WarThunder (2011), Lost Sector (2013), Armored Warfare (2014), etc. Я же утверждаю, что это плохая идея и АТ должны проводить профессиональные QA engineers, а не геймеры.
Почему? Потому что главное следствие наличия игроков на АТ – репутационные потери для вашей компании. Очевидно, что данный тезис может вызвать недоумение. Пояснение ниже:
1. Игроки приходят раньше других в ваш проект не для того, чтобы протестировать его на баги и поднести вам все ошибки на блюдечке, а чтобы получить свою порцию развлечений и удовольствия первыми. Бесспорно, если они найдут какой-то критический баг, который им мешает играть, то они о нём отрапортуют. Но в целом, геймеры хотят играть (и ещё раз играть!), и очередные глюки следующей тестовой сборки на самом деле вызовут только раздражение, а не понимание. И так как негатив люди запоминают гораздо легче, чем позитив, то к релизу эта часть игроков будет вспоминать не новые фичи, которые вы ввели, а все ваши ошибки. И станет первой армией критиков вашей игры в сети.
2. На практике это выглядит примерно так (на примере реакции игроков на очередной патч):
newbie: Ура, новый патч! Новые возможности!!! Это же прекрасно!!! Пойду лайкну разработчиков на форуме.
beta-tester: О, да… Новый патч – новые глюки. Пока не буду играть. Подожду пока откатят, поправят и доведут до ума. Мои нервы мне дороже. А пока поиграю в игру конкурентов.
alpha-tester: Хорошо, если снова не обделаются на весь мир. Помнишь, как сервер упал, когда 0.4.5 накатывали? Пойду, напишу в ЖЖ, что разрабы снова облажались и сделали всё неправильно, хотя мы им ещё на ЗБТ говорили, что нужно перебалансить эту карту.
Конечно, это гипотетический диалог, но, думаю, суть понятна. Я мог бы привести реальные диалоги игроков, пришедших в разное время в WoT, но это противоречит правилам данного ресурса. В частности, тем пунктам, которые касаются оскорблений и матов. Потому что я не могу вспомнить навскидку ни одного ЗБТ-шника, который бы цензурно отзывался о разработчиках.
Да, альфа-тестеров и збт/обт-шников гораздо меньше, чем других категорий игроков. Но именно они чаще всего занимают руководящие посты во всех кланах/гильдиях/корпорациях (нужное подчеркнуть). Как минимум, на первых порах. И соответственно, как наиболее опытные игроки, формируют и мнение о проекте в целом в рамках своего клана.
Конечно, если ваш проект “выстрелит”, то со временем первые кланы ”размоются” и в общем информационном шуме голоса вечно недовольных первых тестеров будут уже не слышны. Но, как говорится, осадочек останется…
Маленькое уточнение-summary: нет, я не утверждаю, что игроки-тестеры – зло. Я говорю, что у игроков, пришедших на АТ/ЗБТ/ОБТ и у QA engineers совершенно разные цели и, соответственно, разная реакция на проблемы в игре. Поэтому идея приглашать игроков на АТ, когда игра представляет из себя комок багов – это очень плохая идея.
В теории (в моём понимании), главная цель ЗБТ и ОБТ – это тестирование усилиями геймеров динамично обновляющегося функционала игры на наличие ошибок ДО релиза. И отсюда мы получаем вторую цель – тестирование реакции ЦА на концепцию игры и различные фичи, которые вводят (или планируют вводить) разработчики. И как побочный эффект – минимизацию издержек на внутреннее тестирование сотрудниками компании-разработчика.
На практике же любое ЗБТ и ОБТ превращается в первую очередь в генератор довольно сомнительного инфошума (как пример – погуглите бложики школоты, которая, впервые услышав о существовании Armored Warfare, возносила игру до небес, а сейчас уже поливает помоями, хотя игра ещё даже на релиз не вышла). И с точки зрения КПД тестирования результаты тоже весьма спорные. Если быть точным в формулировках – разработчики делают всё, чтобы отбить у игроков-тестеров желание что-либо делать. И это катастрофическое неумение работать с аудиторией в несколько тысяч человек, которые действительно могут дать качественный фидбэк, заставило меня ниже расписать типичные ляпы в организации ЗБТ/ОБТ и методы их лечения (с точки зрения игрока).
Итак, поехали:
Вообще, по моему личному убеждению, большинство ЗБТ/ОБТ проходят под девизом «тестируй То, не знаю Что». Итак, предположим, у нас есть некая гиперактивная группировка игроков-тестеров, которые день и ночь сидит в игре, находит баги и строчит сообщения на форуме (например, для военно-исторических игр – это «заклёпочники», которые отстаивают исторические ТТХ своей любимой техники).
И здесь главная беда заключается в том, что ни разработчики, ни коммьюнити-менеджеры не умеют направлять энергию этой таргет-группы в конструктивное русло на пользу проекта. От слова “совсем”. Серьёзно. Где рекомендуемые цели для тестирования? Где примерный план того, что разработчики хотели бы увидеть протестированным от игроков? Нет. Ничего из перечисленного на практике нет. Поэтому каждый тестирует сам, кто во что горазд – один делает видео на ютубе с пробиваемостью моделей, а второй пилит на форуме таблички со сведенными данными по пробиваемости пушек разных калибров из разных источников.
Особая прелесть ситуации заключается в том, что зачастую в вакансиях компании висит «исторический консультант», но при этом на форуме игры профессиональных историков с historia.ru или tsushima.ru, указывающих на нестыковки, разработчики посылают чуть ли не матом, мотивируя это тем, что «в нашей 100% реалистичной игре историзм принесен в жертву балансу». Про вики, которые делают школьники на основе гуглтранслейтовсуких статей, вообще молчу.
Отдельно вымораживает, когда разработчики в патч-ноуте на тесте не пишут изменения – из серии «с целью оптимизации баланса были изменены характеристики некоторых машин». Ну и как, вообще не зная, что изменилось, можно протестировать новшества? Или провести регрессивное тестирование? Нам калёными клещами каждый раз вытаскивать информацию из вас, господа разработчики? Подчеркну особо – речь идёт о ЗБТ/ОБТ, когда абсолютно все ТТХ в процессе балансирования (и мы – тестеры – это прекрасно понимаем), а не о пост-релизе, когда нерф или ап некой техники может вызвать широкий негативный резонанс миллионов игроков.
А теперь давайте представим, что несмотря на всё вышеперечисленное, некий Вася Пупкин, (который даже не подозревает, что он на самом деле занимается black-box тестированием) интуитивно догадался, что нужно тестировать и написал свой первый в жизни баг-репорт на форуме!
А в ответ:
— вообще не получил какого-либо ответа;
— тему закрыли и перенесли в архив без объяснения причин;
— получил ответ “баг известен, мы работает над этим” даже без элементарной благодарности;
— и так далее по спику…
Какая будет реакция Васеньки? – Правильно! Васенька больше в жизни ни одного баг-репорта не напишет.
Геймеры (даже тестировщики) – это, в первую очередь, потребители. Никогда не стоит об этом забывать. Они не дипломаты и не пресс-секретари корпораций. Так что это вполне нормальная рабочая ситуация, когда вместе с баг-репортами на разработчиков выливают ушат холодной воды. Иногда даже с помоями (заслуженно или нет – это уже другой вопрос). К чему это я? Да к тому, что примерно треть моих знакомых на ЗБТ/ОБТ переставали писать баг-репорты, получив резкую отповедь.
В рамках игрового форума на стадии ЗБТ/ОБТ я обычно наблюдаю два варианта реакции на обоснованную критику игроков, подкреплённую баг-репортами:
— карательно-репрессивная, вплоть до банов (пришел модератор с банхаммером);
— обвинительная (пришел разработчик и начал распекать игроков, что они сволочи неблагодарные – разраб тут ночами не спит, с женой уже секса неделю не было, а игроки все носом в баги тычут, никак не успокоятся).
В итоге, ещё некоторая часть тестеров становится враждебно настроенной по отношению к вашему проекту и бросает его тестирование. Это в лучшем случае. А в худшем – бежит жаловаться на игровые порталы и уходит к конкурентам.
И вот наступил долгожданный ОБТ. Сидят в Тим-спике наш герой Вася Пупкин, у которого на счету 7 баг-репортов, и Дима Козлов, который зарегистрировался в последний день ЗБТ (real-story) и ничего не делал. А награда у обоих за участие в ЗБТ одинаковая – некий танчик, например. Как думаете, Васенька после такой вселенской несправедливости хоть один баг-репорт напишет? Правильно думаете – нет. И вот ещё одна группа квалифицированных тестеров канула в лету.
В целом, мне кажется, что выводы и так очевидны. Но когда объясняешь это на примерах в личке очередному разрабу, то натыкаешься на глухую стену непонимания (хотя за пределами гейм-дева это чаще всего вполне адекватный человек, если верить FB и VK).
1. Если вы хотите, чтобы игроки что-то действительно тестировали на бета-тесте – относитесь к ним, как к своим штатным QA: дайте им план тестирования и создайте на форуме инфраструктуру для переваривания результатов этих тестов. Объясните Что, Когда, Как и Зачем стоит тестировать. В идеале – с рассылкой на почту всем желающим. Короче, поднимайте стандарты бета-тестирования! Вам школьники для массовки или тестеры нужны!?
2. Обеспечьте ваших бета-тестеров обратной и главное – своевременной (!) связью. Адекватный фидбэк на баг-репорты – залог цицилизованного и долговременного сотрудничества бета-тестеров и ГД-компании.
3. Научитесь адекватно реагировать на критику игроков и признавать свои ошибки. Обиженный игрок – это не только строчка “забанен” на вашем форуме, но и 500 терабайт ваших игр, розданных на торрентах (true-story). И ни одной лицензионной копии вашей игры в подарочном боксе на полочке у его соклановцев.
4. Запомните раз и навсегда – нельзя всех участников ЗБТ/ОБТ награждать одинаково. Награда должна быть пропорциональна вкладу игрока в проект! Иначе у тех, кто реально тестировал, вы напрочь отобьете желание что-либо делать до конца жизни вашего проекта.
После релиза ничего не меняется: игроки хотят новый контент, а разрабы – свою копеечку на содержание двух любовниц и маленький домик на островах. Так что патчи и аддоны выходят как горячие пирожки из под руки пекаря, а баги продолжают плодиться подобно кроликам. Единственное отличие – на смену бета-тестерам приходят супер-тестеры. И здесь начинается очередной акт марлезонского балета нашей драмы Абсурда.
Если кто не понял – я о критериях набора в супер-тестеры. Вспоминая WoT, нас очень забавляла картина, когда заявки наших офицеров по тактике, которые в реальной жизни работают в IT и имеют винрейт 53-55%, отклонили, а сына нашего знакомого со статой в 43% взяли. А всё потому, что в отличие от нас он мог играть по 12 часов в сутки. К слову, в те времена, когда я уже удалил свой аккаунт в танках спустя год, он ещё не нашел свой первый баг.
И это проблема не только танков. Почему-то на супер-тест везде предпочитают набирать школоту, готовую играть круглосуточно. Я не имею ничего против ЦА – на ком-то же мы должны набивать опыт и фраги. Но предлагать им тестировать? Люди, вы это серьёзно? От какого тестера будет больше пользы – от подростка, который 16 часов будет играть в стиле «пыщь-пыщь ололо – я водитель НЛО!» или от часа игры взрослого, который придёт на тест заниматься делом?
На этом у меня почти всё и, как говорили классики, «Шахеразада умолкает, переходя от дозволенных речей к недозволенным мыслям».
На самом деле у меня всего одна умная мысль – геймификация игрового тестирования. Если вы хотите, чтобы игроки тестировали ваши игры – сделайте так, чтобы они получали от этого удовольствие! Вы ведёте рейтинг топ-игроков? – Добавьте на сайт рейтинг топ-тестировщиков. Выдаете медальки и ачивки за любой чих? – Сделайте отдельные уникальные достижения для всех, кто находит баги и помогает вам сделать проект лучше. У вас по выходным опыт х2 для задротов? – Введите повышенные рейты для тестеров. От этого выиграют все.
P.S. Я не утверждаю, что я «открыл Истину». Я всего лишь разжевал вполне очевидные вещи, понятные любому, кто хоть раз занимался организационной работой. Но так как гейм-девелоперы из игры в игру, из релиза в релиз старательно продолжают скакать на граблях под названием “как заставить геймеров перестать писать баг-репорты и саботировать тестирование игры”, то кто-то должен был написать этот пост.
Предисловие
За свою жизнь я участвовал в ЗБТ и ОБТ примерно 30 игр. И самый главный вывод, который я для себя сделал – гейм-девелоперы совершенно не умеют распоряжаться теми людскими ресурсами в виде нескольких тысяч жаждущих прокликать весь функционал геймеров, которые им сваливаются на голову. И именно поэтому и был написан данный материал. От геймера – разработчику, сидящему по ту строну экрана. От тестера – компаниям, которые не понимают, как правильно организовать процесс тестирования усилиями игроков.
Статья разбита на четыре раздела и написана в разговорном стиле. Я по порядку разбираю ошибки разработчиков на альфа-тесте, ЗБТ/ОБТ и при наборе тестеров после релиза. Те, кто хочет конкретики без долгих прелюдий и размышлений, могут сразу листать к последнему абзацу каждого раздела и выводам.
I. Альфа-тестирование
За последние годы стало признаком хорошего тона приглашать игроков на альфа-тест: World of Tanks (2009), WarThunder (2011), Lost Sector (2013), Armored Warfare (2014), etc. Я же утверждаю, что это плохая идея и АТ должны проводить профессиональные QA engineers, а не геймеры.
Почему? Потому что главное следствие наличия игроков на АТ – репутационные потери для вашей компании. Очевидно, что данный тезис может вызвать недоумение. Пояснение ниже:
1. Игроки приходят раньше других в ваш проект не для того, чтобы протестировать его на баги и поднести вам все ошибки на блюдечке, а чтобы получить свою порцию развлечений и удовольствия первыми. Бесспорно, если они найдут какой-то критический баг, который им мешает играть, то они о нём отрапортуют. Но в целом, геймеры хотят играть (и ещё раз играть!), и очередные глюки следующей тестовой сборки на самом деле вызовут только раздражение, а не понимание. И так как негатив люди запоминают гораздо легче, чем позитив, то к релизу эта часть игроков будет вспоминать не новые фичи, которые вы ввели, а все ваши ошибки. И станет первой армией критиков вашей игры в сети.
2. На практике это выглядит примерно так (на примере реакции игроков на очередной патч):
newbie: Ура, новый патч! Новые возможности!!! Это же прекрасно!!! Пойду лайкну разработчиков на форуме.
beta-tester: О, да… Новый патч – новые глюки. Пока не буду играть. Подожду пока откатят, поправят и доведут до ума. Мои нервы мне дороже. А пока поиграю в игру конкурентов.
alpha-tester: Хорошо, если снова не обделаются на весь мир. Помнишь, как сервер упал, когда 0.4.5 накатывали? Пойду, напишу в ЖЖ, что разрабы снова облажались и сделали всё неправильно, хотя мы им ещё на ЗБТ говорили, что нужно перебалансить эту карту.
Конечно, это гипотетический диалог, но, думаю, суть понятна. Я мог бы привести реальные диалоги игроков, пришедших в разное время в WoT, но это противоречит правилам данного ресурса. В частности, тем пунктам, которые касаются оскорблений и матов. Потому что я не могу вспомнить навскидку ни одного ЗБТ-шника, который бы цензурно отзывался о разработчиках.
Да, альфа-тестеров и збт/обт-шников гораздо меньше, чем других категорий игроков. Но именно они чаще всего занимают руководящие посты во всех кланах/гильдиях/корпорациях (нужное подчеркнуть). Как минимум, на первых порах. И соответственно, как наиболее опытные игроки, формируют и мнение о проекте в целом в рамках своего клана.
Конечно, если ваш проект “выстрелит”, то со временем первые кланы ”размоются” и в общем информационном шуме голоса вечно недовольных первых тестеров будут уже не слышны. Но, как говорится, осадочек останется…
Маленькое уточнение-summary: нет, я не утверждаю, что игроки-тестеры – зло. Я говорю, что у игроков, пришедших на АТ/ЗБТ/ОБТ и у QA engineers совершенно разные цели и, соответственно, разная реакция на проблемы в игре. Поэтому идея приглашать игроков на АТ, когда игра представляет из себя комок багов – это очень плохая идея.
II. ЗБТ&ОБТ
В теории (в моём понимании), главная цель ЗБТ и ОБТ – это тестирование усилиями геймеров динамично обновляющегося функционала игры на наличие ошибок ДО релиза. И отсюда мы получаем вторую цель – тестирование реакции ЦА на концепцию игры и различные фичи, которые вводят (или планируют вводить) разработчики. И как побочный эффект – минимизацию издержек на внутреннее тестирование сотрудниками компании-разработчика.
На практике же любое ЗБТ и ОБТ превращается в первую очередь в генератор довольно сомнительного инфошума (как пример – погуглите бложики школоты, которая, впервые услышав о существовании Armored Warfare, возносила игру до небес, а сейчас уже поливает помоями, хотя игра ещё даже на релиз не вышла). И с точки зрения КПД тестирования результаты тоже весьма спорные. Если быть точным в формулировках – разработчики делают всё, чтобы отбить у игроков-тестеров желание что-либо делать. И это катастрофическое неумение работать с аудиторией в несколько тысяч человек, которые действительно могут дать качественный фидбэк, заставило меня ниже расписать типичные ляпы в организации ЗБТ/ОБТ и методы их лечения (с точки зрения игрока).
Итак, поехали:
1. Отсутствие информации по тестам
Вообще, по моему личному убеждению, большинство ЗБТ/ОБТ проходят под девизом «тестируй То, не знаю Что». Итак, предположим, у нас есть некая гиперактивная группировка игроков-тестеров, которые день и ночь сидит в игре, находит баги и строчит сообщения на форуме (например, для военно-исторических игр – это «заклёпочники», которые отстаивают исторические ТТХ своей любимой техники).
И здесь главная беда заключается в том, что ни разработчики, ни коммьюнити-менеджеры не умеют направлять энергию этой таргет-группы в конструктивное русло на пользу проекта. От слова “совсем”. Серьёзно. Где рекомендуемые цели для тестирования? Где примерный план того, что разработчики хотели бы увидеть протестированным от игроков? Нет. Ничего из перечисленного на практике нет. Поэтому каждый тестирует сам, кто во что горазд – один делает видео на ютубе с пробиваемостью моделей, а второй пилит на форуме таблички со сведенными данными по пробиваемости пушек разных калибров из разных источников.
Особая прелесть ситуации заключается в том, что зачастую в вакансиях компании висит «исторический консультант», но при этом на форуме игры профессиональных историков с historia.ru или tsushima.ru, указывающих на нестыковки, разработчики посылают чуть ли не матом, мотивируя это тем, что «в нашей 100% реалистичной игре историзм принесен в жертву балансу». Про вики, которые делают школьники на основе гуглтранслейтовсуких статей, вообще молчу.
Отдельно вымораживает, когда разработчики в патч-ноуте на тесте не пишут изменения – из серии «с целью оптимизации баланса были изменены характеристики некоторых машин». Ну и как, вообще не зная, что изменилось, можно протестировать новшества? Или провести регрессивное тестирование? Нам калёными клещами каждый раз вытаскивать информацию из вас, господа разработчики? Подчеркну особо – речь идёт о ЗБТ/ОБТ, когда абсолютно все ТТХ в процессе балансирования (и мы – тестеры – это прекрасно понимаем), а не о пост-релизе, когда нерф или ап некой техники может вызвать широкий негативный резонанс миллионов игроков.
2. Отсутствие адекватного фидбэка
А теперь давайте представим, что несмотря на всё вышеперечисленное, некий Вася Пупкин, (который даже не подозревает, что он на самом деле занимается black-box тестированием) интуитивно догадался, что нужно тестировать и написал свой первый в жизни баг-репорт на форуме!
А в ответ:
— вообще не получил какого-либо ответа;
— тему закрыли и перенесли в архив без объяснения причин;
— получил ответ “баг известен, мы работает над этим” даже без элементарной благодарности;
— и так далее по спику…
Какая будет реакция Васеньки? – Правильно! Васенька больше в жизни ни одного баг-репорта не напишет.
3. Негативная реакция
Геймеры (даже тестировщики) – это, в первую очередь, потребители. Никогда не стоит об этом забывать. Они не дипломаты и не пресс-секретари корпораций. Так что это вполне нормальная рабочая ситуация, когда вместе с баг-репортами на разработчиков выливают ушат холодной воды. Иногда даже с помоями (заслуженно или нет – это уже другой вопрос). К чему это я? Да к тому, что примерно треть моих знакомых на ЗБТ/ОБТ переставали писать баг-репорты, получив резкую отповедь.
В рамках игрового форума на стадии ЗБТ/ОБТ я обычно наблюдаю два варианта реакции на обоснованную критику игроков, подкреплённую баг-репортами:
— карательно-репрессивная, вплоть до банов (пришел модератор с банхаммером);
— обвинительная (пришел разработчик и начал распекать игроков, что они сволочи неблагодарные – разраб тут ночами не спит, с женой уже секса неделю не было, а игроки все носом в баги тычут, никак не успокоятся).
В итоге, ещё некоторая часть тестеров становится враждебно настроенной по отношению к вашему проекту и бросает его тестирование. Это в лучшем случае. А в худшем – бежит жаловаться на игровые порталы и уходит к конкурентам.
4. Сомнительная награда
И вот наступил долгожданный ОБТ. Сидят в Тим-спике наш герой Вася Пупкин, у которого на счету 7 баг-репортов, и Дима Козлов, который зарегистрировался в последний день ЗБТ (real-story) и ничего не делал. А награда у обоих за участие в ЗБТ одинаковая – некий танчик, например. Как думаете, Васенька после такой вселенской несправедливости хоть один баг-репорт напишет? Правильно думаете – нет. И вот ещё одна группа квалифицированных тестеров канула в лету.
В целом, мне кажется, что выводы и так очевидны. Но когда объясняешь это на примерах в личке очередному разрабу, то натыкаешься на глухую стену непонимания (хотя за пределами гейм-дева это чаще всего вполне адекватный человек, если верить FB и VK).
Так что, краткие выводы
1. Если вы хотите, чтобы игроки что-то действительно тестировали на бета-тесте – относитесь к ним, как к своим штатным QA: дайте им план тестирования и создайте на форуме инфраструктуру для переваривания результатов этих тестов. Объясните Что, Когда, Как и Зачем стоит тестировать. В идеале – с рассылкой на почту всем желающим. Короче, поднимайте стандарты бета-тестирования! Вам школьники для массовки или тестеры нужны!?
2. Обеспечьте ваших бета-тестеров обратной и главное – своевременной (!) связью. Адекватный фидбэк на баг-репорты – залог цицилизованного и долговременного сотрудничества бета-тестеров и ГД-компании.
3. Научитесь адекватно реагировать на критику игроков и признавать свои ошибки. Обиженный игрок – это не только строчка “забанен” на вашем форуме, но и 500 терабайт ваших игр, розданных на торрентах (true-story). И ни одной лицензионной копии вашей игры в подарочном боксе на полочке у его соклановцев.
4. Запомните раз и навсегда – нельзя всех участников ЗБТ/ОБТ награждать одинаково. Награда должна быть пропорциональна вкладу игрока в проект! Иначе у тех, кто реально тестировал, вы напрочь отобьете желание что-либо делать до конца жизни вашего проекта.
III. Post-release
После релиза ничего не меняется: игроки хотят новый контент, а разрабы – свою копеечку на содержание двух любовниц и маленький домик на островах. Так что патчи и аддоны выходят как горячие пирожки из под руки пекаря, а баги продолжают плодиться подобно кроликам. Единственное отличие – на смену бета-тестерам приходят супер-тестеры. И здесь начинается очередной акт марлезонского балета нашей драмы Абсурда.
Если кто не понял – я о критериях набора в супер-тестеры. Вспоминая WoT, нас очень забавляла картина, когда заявки наших офицеров по тактике, которые в реальной жизни работают в IT и имеют винрейт 53-55%, отклонили, а сына нашего знакомого со статой в 43% взяли. А всё потому, что в отличие от нас он мог играть по 12 часов в сутки. К слову, в те времена, когда я уже удалил свой аккаунт в танках спустя год, он ещё не нашел свой первый баг.
И это проблема не только танков. Почему-то на супер-тест везде предпочитают набирать школоту, готовую играть круглосуточно. Я не имею ничего против ЦА – на ком-то же мы должны набивать опыт и фраги. Но предлагать им тестировать? Люди, вы это серьёзно? От какого тестера будет больше пользы – от подростка, который 16 часов будет играть в стиле «пыщь-пыщь ололо – я водитель НЛО!» или от часа игры взрослого, который придёт на тест заниматься делом?
На этом у меня почти всё и, как говорили классики, «Шахеразада умолкает, переходя от дозволенных речей к недозволенным мыслям».
IV. Умные мысли
На самом деле у меня всего одна умная мысль – геймификация игрового тестирования. Если вы хотите, чтобы игроки тестировали ваши игры – сделайте так, чтобы они получали от этого удовольствие! Вы ведёте рейтинг топ-игроков? – Добавьте на сайт рейтинг топ-тестировщиков. Выдаете медальки и ачивки за любой чих? – Сделайте отдельные уникальные достижения для всех, кто находит баги и помогает вам сделать проект лучше. У вас по выходным опыт х2 для задротов? – Введите повышенные рейты для тестеров. От этого выиграют все.
P.S. Я не утверждаю, что я «открыл Истину». Я всего лишь разжевал вполне очевидные вещи, понятные любому, кто хоть раз занимался организационной работой. Но так как гейм-девелоперы из игры в игру, из релиза в релиз старательно продолжают скакать на граблях под названием “как заставить геймеров перестать писать баг-репорты и саботировать тестирование игры”, то кто-то должен был написать этот пост.
Комментарии (28)
ServPonomarev
05.06.2015 13:26+4Одно замечание. Тестировщики на масс-тестах нужны не столько для выявления багов в балансе и юзабилити, а для выявления критичных багов, кладущих сервер или как минимум клиента. А информация по таким багам собирается автоматически — репорт от человека обычно не нужен.
wartex
05.06.2015 22:48+2Да вот именно. Автор, вы же сами себе отвечаете:
Вам школьники для массовки или тестеры нужны!?
Очевидно, же, что именно «школьники для массовки»: выяснить часы пиковой нагрузки, отладить механизм раздачи и откатов патчей, проверить нагрузку карт, механизм лобби etc. Можно до бесконечности перечислять.
А так, все выводы сводятся к: «дайте, обеспечьте, относитесь к нам как к сотрудникам», а не то «уйду, напишу в ЖЖ и раздам на торрентах».
Korvin_Melarsky Автор
05.06.2015 23:28Очевидно, же, что именно «школьники для массовки»
Крайне ошибочное мнение. Я, честно говоря, очень удивлён, что я на айтишном ресурсе должен указывать на разницу в стоимости исправления бага на:
— этапе разработки проекта;
— этапе проектирования;
— этапе кодирования;
— этапе модульного тестирования.
— этапе после релиза.
etc.
А еще к стоимости исправления багов после релиза можно добавить репутационые потери и разницу в человеко-часах, затраченных на исправление ошибки и т.д.
Кроме того, для
выяснить часы пиковой нагрузки, отладить механизм раздачи и откатов патчей, проверить нагрузку карт, механизм лобби etc. Можно до бесконечности перечислять.»
внезапно можно использовать ботов (пример ниже):
Допустим, у нас есть дебаговый клиент. Разработчики создают макрос-бота, который с клиентом может общаться (не важно как). Бот может залогинится в игре, нажать кнопку «в бой» и поехать к нужной точке на нужной карте. Нагрузка? — Нагрузка. А еще можно и fps померять, проверить работу физики, проверить картинку (хотя тут наверное проще человеку посмотреть будет отчет). Как кто-то сказал: «Можно перечислять до бесконечности» (с)
А использовать «толпу», как вы сказали, только ради проверки сервера на нагрузку — крайне неэффективно.wartex
06.06.2015 00:17Крайне ошибочное мнение.
Это само-собой. И то, что разработчики все, как один, не ценят и не понимают своего счастья — тоже понятно. Странно только, что не нашлось ни одной команды, достойной упоминания в положительном ключе. Или это только вам так не повезло, но слухи ходят?Korvin_Melarsky Автор
06.06.2015 18:01Это само-собой. И то, что разработчики все, как один, не ценят и не понимают своего счастья — тоже понятно./blockquote>
Внимательно перечитываем названия статьи. Если мне не изменяет память, она называлась «Ошибки разработчиков при тестировании ММО», а не «Примеры идеального тестирования игр в лицах».
Странно только, что не нашлось ни одной команды, достойной упоминания в положительном ключе. Или это только вам так не повезло, но слухи ходят?
Обобщаете здесь вы. Это кстати был наброс с желанием развести срач или как это понимать? А касательно примеров — пожалуйста :)
— мододелы проекта Sins of Galactic Empire на moddb;
— мододелы серии S.T.A.L.K.E.R. на амк-форуме и форуме Sigerous'a;
— мододелы серии «Цивилизаций» с civfanatics.com;
etc.
Отличные люди, с которыми я с огромным удовольствием общался играя в их игры и платил деньги за качественный продукт.
wartex
07.06.2015 13:50Это кстати был наброс с желанием развести срач или как это понимать?
Тут вы меня раскусили, прошу прощения, погорячился. Но, понимаете, сам тон статьи и комментариев на это провоцирует: достаточно сомнительные утверждения, преподносящиеся в ультимативной форме. Рефлекс сработал, понимаете ли.
А по теме — обобщу свои мысли и тех, кто высказался ниже.
касательно примеров — пожалуйста :)
— мододелы проекта Sins of Galactic Empire на moddb;
— мододелы серии S.T.A.L.K.E.R. на амк-форуме и форуме Sigerous'a;
— мододелы серии «Цивилизаций» с civfanatics.com;
Потому и положительные впечатления, что, по сути, мод — это разработка сингла, офлайн игры. И от разработчиков сетевых игр вы ждёте именно такой реакции. Отсюда и запросы обратной связи, постановки задач и т.д.
Но ОБТ самим разработчикам нужен совсем для другого, и нет, нельзя «запустить 1000 ботов». Потому что задача не «проехать из точки А в точку Б», для этого, я уверен, существуют вполне штатные тестеры. Основная задача — выявить проблемы совместимости реального железа у реальных игроков, реальной нагрузки и т.д.
Проблема в том, что вы видите игру только как код самой игры: баланс, карты, ошибки в коде. Но мы же говорим про сетевые игры. И здесь «средства доставки» чуть ли не важнее самой игры. И в ОБТ тестируется именно этот механизм (в основном). Плюс реакция аудитории на различные условия. И там уже про маркетологов сказали, и это тоже да.
Дело в том, что ресурсы не используют не потому, что не могут или не умеют, а потому, что не надо.
Не согласен
Ну сами посмотрите — весь отрицательный опыт у вас связан с разработкой ММО, а положительный с модостроителями. И, при этом, вы продолжаете упорствовать, даже не заглянув внутрь «чёрного ящика».
Korvin_Melarsky Автор
08.06.2015 16:02И, при этом, вы продолжаете упорствовать, даже не заглянув внутрь «чёрного ящика».
Честно говоря, я бы с удовольствием заглянул внутрь «чёрного ящика» в качестве консультанта по оружию, сценариста, продюсера или гейм-дизайнера. Я еще на прошлой работе пару лет назад «подсел» на Хабр и с тех пор начинаю утро на работе с кофе и чтения Хаброновостей :)
Ну сами посмотрите — весь отрицательный опыт у вас связан с разработкой ММО, а положительный с модостроителями.
Не совсем так. Скорее:
— мододелы и разработчики-любители («Ironclads», «Battle Abyss online») не имеют системы или плана, но в меру своего понимания стараются общаться с игроками и координировать процессы тестирования;
— разработчики и локализаторы ММО имеют некий план, но не считают нужным его озвучивать его коммьюнити и практически не принимают информацию игроков по багам в расчет, либо вообще реагируют агрессивно, когда игроки находят «ляпы».
Основная задача — выявить проблемы совместимости реального железа у реальных игроков, реальной нагрузки и т.д.
Стоп. Я ведь не говорю, что тестирование «сервер-клиент» не нужно. Естественно, оно необходимо — если я не смогу скачать клиент и зайти на сервер — дальше игры не будет.
Потому что задача не «проехать из точки А в точку Б», для этого, я уверен, существуют вполне штатные тестеры
Здесь я буду категорически спорить:
1. В разговорах со знакомыми игроделами киевскими я вообще слышал позицию, что «штатные тестеры не нужны — для этого есть игроки»;
2. Если штатные тестеры есть, то они не справляются со своей работой. Как это выглядит со стороны игроков я расписал выше — в статье. При желании могу начать приводить баги по каждой игре, выловленные после релиза.
Собственно, из-за недоработок штатных тестеров и неправильной работы с тестовым коммьюнити и был написан это материал, чтобы показать как можно сделать лучше, чтобы все выиграли.
AllexIn
06.06.2015 10:59И как я ботами обеспечу 1000 человек онлайн? Где я возьму оборудования, чтобы такой онлайн получить? Внутреннюю сеть я же не могу использовать и уж тем более вешать ботов на тоже оборудование, где игра вертится.
ОБТ/ЗБТ — это исключительно привлечение массовки. Причем достаточно лояльной к вайпам и крашам.
ИМХОkozzztik
08.06.2015 18:31+2мы арендовали виртуалки в ДЦ с почасовой оплатой. 10к пользователей ботами без проблем, вышло в копейку.
MrGobus
05.06.2015 17:09+4Удивительно, столько БТ пройти и так и не понять, что все бета тесты делаются не для выявления багов, а для привлечения внимания к проекту, поэтому писать, что либо, куда либо, бесполезно, я это понял после 4го БТ а автор пишет о 30 =)
Ну может быть проверить сервера на нагрузку, но не как не для вычитывания сообщений о багах от стада школьников и тем более проверять их и править.
Также стоит отметить, что обычно онлайн проекты это локализация и локализаторы просто не могут ничего поправить так как не они разработчики. При этом, орфографию и пунктуацию тоже особо не правят, так как перевод делает отдельная фирма с которой уже контракт окончен и это новые затраты. Другой причины я просто не вижу, так как сам отправлял сообщения о ошибках в переводе, но воз и ныне там=)
Tanner
05.06.2015 18:19«Гей-дев» ? это не опечатка?
Korvin_Melarsky Автор
05.06.2015 23:32+2Крайне прискорбная опечатка. Я вычитывал статью перед «релизом», но как на зло «опечатка по Фрейду» прошла незамеченной. Тем не менее, я надеюсь, что предметом обсуждения в комментариях станет всё же статья :)
Tiendil
05.06.2015 18:55+1Статья правильная, игроки и должны думать в этом ключе, знать цели разработчиков не надо :-)
Rumlin
05.06.2015 23:21Попробую угадать игру — «War thunder»?
Цитаты точно о них:
И здесь главная беда заключается в том, что ни разработчики, ни коммьюнити-менеджеры не умеют направлять энергию этой таргет-группы в конструктивное русло на пользу проекта.
Особая прелесть ситуации заключается в том, что зачастую в вакансиях компании висит «исторический консультант», но при этом на форуме игры профессиональных историков с historia.ru или tsushima.ru, указывающих на нестыковки, разработчики посылают чуть ли не матом, мотивируя это тем, что «в нашей 100% реалистичной игре историзм принесен в жертву балансу». Про вики, которые делают школьники на основе гуглтранслейтовсуких статей, вообще молчу.
А в ответ:
— вообще не получил какого-либо ответа;
— тему закрыли и перенесли в архив без объяснения причин;
— получил ответ “баг известен, мы работает над этим” даже без элементарной благодарности;
— и так далее по спику…
Да к тому, что примерно треть моих знакомых на ЗБТ/ОБТ переставали писать баг-репорты, получив резкую отповедь.
— карательно-репрессивная, вплоть до банов (пришел модератор с банхаммером);
— обвинительная (пришел разработчик и начал распекать игроков, что они сволочи неблагодарные – разраб тут ночами не спит, с женой уже секса неделю не было, а игроки все носом в баги тычут, никак не успокоятся).Korvin_Melarsky Автор
05.06.2015 23:38Не только. Как я уже писал в предисловии, я участвовал в разных «бетах» — World of Tanks (ЗБТ). WarThunder (альфа-тест), UFO online (ОБТ), Lost Sector online (альфа-тест), Ironclads (ОБТ) и т.д. и т.п. Другое дело, что конкретные примеры я выбирал именно из WoT и Тундры потому, что их знают все.
Rumlin
05.06.2015 23:51Я особо не играл и не играю, War thunder заинтересовал графикой. Игра оказалась очень недружелюбной в интерфейсе и управлении, и я направился на форум просвещаться. Почти сразу я увидел отношение к пользователям и был очень удивлен, просто в шоке от отношения «сволочи неблагодарные». Затем попалась статья на Луркоморье о warthunder и всё стало понятно. Редкий случай когда статья там отлично разъясняла происходящее на форуме и главных участников этого.
Sabin
07.06.2015 00:33Мысли правильные, особенно краткий вывод №1. Пожалуй, можно пересчитать по пальцам, когда разработчики писали прямо: мы отлаживаем механику N, пожалуйста, уделите ей особое внимание. Как правило, объявляют только о нагрузочных тестах. Это просто громадный промах многих компаний. И оффтоп: Не замечал я такого негатива во время альфы WoT. Полагаю, негативные примеры собраны воедино, но почему-то кажется, что раз упоминается конкретно эта игра, то и все примеры о ней.
Korvin_Melarsky Автор
08.06.2015 14:11+1Не замечал я такого негатива во время альфы WoT
Я пришел в танки на ЗБТ в марте 2010-го, а в июне уже стартовало ОБТ. На ЗБТ и ОБТ по моему субъективному мнению багов было меньше и отношение к игрокам адекватнее. А дальше начался мрак. Сейчас конечно все сразу и не припомню, я же 5 лет назад специально не записывал все ситуации.
Навскидку:
— баг с какой-то медалькой. То ли были неправильно описаны условия получения, то ли отображалась в профиле танка, а в инфо о танкистах не отображалась. Или это было два бага (не помню уже)? Отписался. Реакция — ноль. Никто даже не ответил.
— краши клиента, когда Варгейминг начал экспериментировать с многоядерностью. Писали все мои соклановцы у кого были такие проблемы. Либо игнорировали, либо сносил посты на форуме. При повторном размещении темы модераторы банили.
— баги с непроходимостью и застряваниями в некоторых местах карт (первые я еще на ОБТ нашел). Некоторые из них поправили года через полтора после релиза только.
— баги с проездом танков сквозь объекты (и прострелом сквозь стены) — аналогичная ситуация.
— баги с утечкой памяти и «марсианским ландшафтом». Мы баг-лист в числе первых отправляли. Ответ был гениален: переставьте дрова, переустановите систему. Если не помогает — поменяйте железо.
И так далее в том же духе…
Полагаю, негативные примеры собраны воедино, но почему-то кажется, что раз упоминается конкретно эта игра, то и все примеры о ней.
Это обобщенные ситуации с разных игр. Но я решил конкретные примеры приводить из танках и самолетов. Почему? Я предполагаю, что если бы я расписал ошибки на примере всех компаний и локализаторов, включая «Акеллу», «Нивал» и прочих, то одновременно отбиваться и спорить с представителями всех наших гейм-дев компаний мне было бы проблематично.
Alexey2005
05.06.2015 23:48+2Сложно указать крупный проект 2013-2014гг., к которому бы данные цитаты не подходили. Сейчас балом правят маркетологи, а потому крайне сложно встретить компанию-игродела, которая считала бы игроков клиентами, а не ресурсом. Отношение к игрокам чаще всего такое, что даже Почта России в худшие свои времена просто отдыхает по сравнению с этим.
Поэтому бета-тестирование ориентировано не на поиск багов, а на продвижение проекта и оценку ЦА. Более того, на момент тестирования уже обычно составлен подробный план запуска и раскрутки проекта, который не предусматривает отсрочек из-за такой мелочи, как баги. Даже если вдруг выяснится, что сервера банально не выдержат нагрузки, а клиент дырявый как решето, проект всё равно запустят точно по графику, а с проблемами будут разбираться как-нибудь потом.
AllexIn
06.06.2015 11:02Статью читать интересно. Но кроме последнего абзаца все остальное показалось оторванным от реальности.
Что-то из разряда «Я 10 лет геймер и я то уж точно знаю как делать игры!»Korvin_Melarsky Автор
06.06.2015 17:49Не верно :)
Что-то из разряда «Я 10 лет геймер и я то уж точно знаю как делать игры!»
Вот прочитал и самому стало интересно — а сколько же лет я играю в компьютерные игры? Итак, посчитаем: сейчас мне 27 лет, а первый компьютер я получил примерно в первом-втором классах. Следовательно, мой суммарный геймерский стаж сейчас 18-20 лет примерно.
Статью читать интересно. Но кроме последнего абзаца все остальное показалось оторванным от реальности.
Отнюдь. Просто рынок компьютерных игр ещё слишком молод и подобающей культуры управления и отношения к пользователям здесь нет. Как человеку, который смотрит на это со стороны и который организовывал много чего, начиная от международных ножевых шоу и заканчивая координацией турниров на 500+ человек, мне хорошо видно насколько бездарно используются человеческие ресурсы коммьюнити. Естественно глупо было бы ожидать сейчас от Wargaming или Gaijin Entertainment такой культуры управления, как у PricewaterhouseCoopers или Deloitte, но это не значит, что стоит игнорировать проблему. Определенные шаги в этом направлении уже предпринимаются — например, в Стиме теперь можно возвращать купленные игры, если они не понравились (кажется, по условиям нужно играть не более двух часов и совершить возврат в двухнедельный срок). Я уверен, что со временем «цивилизованность рынка» будет расти, а гейм-девелоперам придется учиться работать с другими стандартами качества. Например с теми, которые используются в банковской сфере или аудите. Хотя, вполне возможно, что для этого должно смениться хотя бы одно поколение управленцев в ГД.AllexIn
06.06.2015 17:51Для того, чтобы понять в чем и почему вы не правы вам надо поработать в какой нибудь ММО.
Вы судите по процессах происходящим в черном ящике находясь снаружи.
Даже если вы видели 100 000 черных ящиков это не увеличило вашего понимания именно внутренних процессов.
Полагаю вы можете стать находкой в плане QA для какого-нибудь проекта. Но также уверен, что вы измените свое видение ситуации если начнете там работать.
Дело в том, что ресурсы не используют не потому, что не могут или не умеют, а потому, что не надо.Korvin_Melarsky Автор
06.06.2015 18:08Я не отрицаю (гипотетически) возможности того, что со временем я могу изменить своё мнение. Например, как вы сказали, перейдя работать из банковской сферы и журналистики в гейм-девелопмент. Но на данный момент исходя из того, что я знаю и что я вижу, и сравнивая со своей сферой деятельности я делаю именно такие выводы.
Дело в том, что ресурсы не используют не потому, что не могут или не умеют, а потому, что не надо.
Не согласен, но боюсь, что каждый из нас останется при своём мнении исходя из своего жизненного опыта и будет приводить все новые и новые аргументы в пользу своей точки зрения :)
sunnyfox
08.06.2015 00:37+1Одна российская компания, разработчик и локализатор, однажды попыталась простимулировать тестеров. Пообещали, что лучшие из них получат уникальные крылья, которые можно носить с низкого уровня (но по характеристикам хуже магазинных для последнего уровня) и которые нельзя добыть иными методами в игре. Также лучшие будут внесены в анналы истории, оказавшись в игровых субтитрах русской версии.
По окончании ЗБТ лучших тестеров действительно быстро определили, поздравили и… и ничего. Крылья дали — через месяц с небольшим, когда все уже были на топ-уровне и при всей своей уникальности крылья были бесполезны. Разве что в городе для прикола надеть. Передать твинку тоже нельзя. За этот срок менеджера по общению с коммьюнити замучили, но он сперва отвечал неопределенными отмазками, а потом вовсе прятался и не отвечал. Что мешало прислать внутриигровой подарок раньше — неизвестно. На титры, по ходу, забили. Вот и тестируй им потом.Korvin_Melarsky Автор
08.06.2015 12:59Вот и тестируй им потом.
Вот эту проблему (в том числе) я и хотел показать в своей статье. Кстати, позвольте угадать — а это часом не «Aion» был? А локализатор, соответственно, Innova Systems.sunnyfox
08.06.2015 16:44Ну, по крыльям угадать несложно. В общем-то да. В принципе, процесс тестирования был организован неплохо, имелась система багтрекинга, где можно было создавать детальные тикеты, на некоторые даже давались более-менее своевременные ответы. Но итоги — «получилось, как всегда».
Valdei
Понятно, здраво и достаточно очевидно. И эмоционально о наболевшем, ага.
Всё это должно решаться в рамках какой-то более глобальной задачи по созданию культуры работы с комьюнити в принципе.
Проблема в том, что общением с игроками на тему багов и техпроблем занимаются либо сами разработчики (отрываясь от своих непосредственных задач), или какая-то общая служба поддержки (которая нихрена не понимает в вопросе).
В результате репорты или пропускаются, или остаются без ответа, или закрываются с тем самым «мы работаем над этим». А систем поощрения либо нет, либо они реализованы не для людей.
Возможно, нужна какая-то прослойка QA-менеджеров, которые достаточно разбираются в вопросе, чтобы фильтровать поток репортов и понятно переформулировать ответы от разработчиков, но при этом умеют общаться с людьми и понимают, что им нужно.