Привет, меня зовут Мария, я работаю в Каруне неунывающим экспериментатором чата GPT, ну а вообще UX-писателем. В предыдущей статье я попыталась устроиться Middle Full-Stack разработчикам только с помощью чата GPT. Результаты моего эксперимента можно почитать в этой статье.

В этот раз я решила провести более чистый эксперимент – анонимно откликнуться в геймдев компанию моей знакомой, которая как раз ищет тестировщика в проект. 

Итак, нам дано: по-прежнему нулевые знания в области разработки, такие же нулевые знания в области тестирования, но большой энтузиазм и чат GPT. 

В этот раз я начну с консультации Middle-тестировщицы Ксюши в моей компании Каруна, которая подскажет мне, на что обратить внимание.

Какие основные навыки требуются на позицию Junior/Middle?

- Знание теории тестирования (умение писать тестовую документацию: чек-листы, тест-кейсы, тест-планы, умение применять техники тест-дизайна, знание видов и уровней тестирования);
- Умение работать с системами учета дефектов (это то, где заводятся баги);
- SQL на базовом уровне;
- Понимание клиент-серверной архитектуры;
- Часто еще желательно понимать: методологии разработки и их различия (а дальше уже в зависимости от того, что ты будешь тестировать. Есть специфические требования: для мобилок свои, для веба свои, для бэка свои).

Был ли у тебя опыт работы в профессии до?

- Да, у меня был опыт тестирования, но на другом стеке технологий. Я занималась тестированием продуктов 1С, а сейчас тестирую Web и немного мобилки.

К чему быть готовым на первом HR-собеседовании?

- У тебя точно спросят про опыт работы, спросят чем ты занимался, по какой методологии работала команда, с какими инструментами раньше ты работала (тут на самом деле смотря какой HR попадется, с некоторыми ты заканчиваешь разговаривать через 5 минут, а некоторые начинают спрашивать более технические штуки про твой опыт, и разговор затягивается). Если опыта тестирования не было, спрашивают как учился, курсы или как-то сам и почему выбрал тестирование. Стандартно спрашивают про зарплатные ожидания, почему ищешь работу и чего ты сам ждешь от должности.

Ну что же, этот мир мне понятен, генерирую резюме, учитывая все комментарии от Ксюши и чата GPT.

Получилось вполне себе значимо: тут и языки программирования, и релевантный опыт. После некоторых размышлений добавляю повышение квалификации от всеми известных онлайн-университетов, чтобы показать своё развитие. 

Дело за малым – попасть на собеседование в геймдев компанию Х. Тут мне поможет моя подруга – она предложит меня как реферала, а значит (вероятно), меня рассмотрят в приоритете. Как минимум HR-собеседование я пройти должна.

Часть 1, в которой я повторяю слово "тест" 100 раз

Да, меня пригласили на интервью. В целом ожидаемо: резюме плюс сопроводительное письмо получились качественными. Теперь осталось подготовиться к сложным вопросам, для этого снова обращаемся к чату GPT и Ксюше за реальным опытом.

Выглядит непонятно, но очень интересно. Отдельно изучаю каждый случай, прошу генерировать примеры, чтобы стало ясней (но яснее не становится). Решаю просто заучить несколько приемов, чтобы потом адаптировать их под вопрос. Также обращаюсь к Ксюше узнать, что мне ожидать от собеседования в плане тестового задания.

Что обычно просят сделать в качестве тестового на интервью?
- Мне такое не попадалось, но знаю, что часто просят протестировать какую-нибудь базовую вещь, например ручку или карандаш, это показывает много твоих навыков.

И тут ручка! Несчастную ручку просят продать менеджеров, консультантов, еще и тестировщиков! Читала, что это уже давно считается моветоном в среде продаж, это так? Поделитесь мнением в комментариях.

А пока буду готовиться и к таким вопросам тоже.

В день и час Икс я заметно нервничаю, потому что пыталась впихнуть в себя весь объём профессии и заучивание строк из резюме за один вечер. Но попробую вывезти на софт-скиллах и чате GPT в соседней вкладке. Снова использую приём с нестабильным интернетом на случай, если мне срочно понадобится помощь союзника, и мы начинаем. 

HR в компании Х очень приятная, много улыбается и шутит, и я заметно успокаиваюсь, пока не заходим на поле профессиональных вопросов. На простые из них по типу “Расскажите об опыте тестирования, в каких продуктах работали, какие инструменты и методологию знаете” отвечаю, произвольно пересказывая резюме и доставая их чертогов разума советы чата GPT. Но потом случается Final Boss – вопрос про автоматизацию тестирования. Чувствую себя студентом, который что-то такое видел и читал, но не расскажет ни слова. Поэтому я бегу к GPT, трясущимися пальцами вбиваю в заранее подготовленное окно  – “примеры автоматизации тестирования” и заполняю долгие секунды океанами воды, в которых через слово звучит “тестирование”.

Прикладываю стенограмму кусочка нашего интервью, чтобы вы понимали, каким ужом на сковородке я была.

HR: Мы стараемся автоматизировать процессы, в частности тестирование. Есть ли у вас примеры такой работы, сможете рассказать?

Мария: Да, конечно, есть! [КОНЕЧНО – оценили мой настрой?] Вообще, когда речь заходит про тестирование, всегда стараюсь автоматизировать по максимуму. [пауза, видимо, думаю, а что там по максимуму я автоматизирую] Я раньше на предыдущих работах тестировщиком как-то игнорировала этот момент, но всегда казалось, что автоматизация тестирования – моя точка роста. Поэтому начала изучать и стараться внедрять. [тут уже первые подсказки чата были сгенерированы, поэтому я, стараясь не выдавать радости, продолжаю] Я использовала различные инструменты для автоматизации тестирования, включая Selenium WebDriver, JUnit и TestNG. Например, в одном проекте мы автоматизировали тестирование веб-приложения маркетплейса, используя Selenium WebDriver для создания тестовых сценариев и JUnit для выполнения тестов. Мы разработали набор тестов, которые проверяли функциональность добавления и удаления товаров, оформление заказов и работу платежных систем. [в голове что-то из серии “ну как заливается! Соловьем!] 

HR: Мария, очень здорово! Мы бы тоже хотели внедрить и сервисы и процессы, поэтому здорово, что вы разбираетесь. А если говорить о результатах? Что получилось или не очень?

Мария: [благословляю GPT, что и этот вопрос он предусмотрел] Нуу, в основном все получилось, были затыки, конечно, но, допустим, время тестов сократилось с 2ух дней до 2ух часов – это было очень круто.

Подводя итог первого интервью, отмечаю, что в первом эксперименте, когда устраивалась Full-Stack разработчиком, чувствовала себя хуже. Тут я заранее подготовила окно чата, задала контекст, поэтому дело было за малым – незаметно и тихо успеть задать ему вопросы. Думаю, что пройду дальше, но очень боюсь тестового задания онлайн с каким-то конкретным кейсом.

Часть 2 - все решено, мама, я тестировщик!

Я во втором туре! И он, к счастью, пока не собеседование, а оффлайн тестовое задание. Думаю справиться с этим просто и быстро. 

Итак, что мне нужно сделать:

1. Исследовать приложение Х и определить, какие операции и сценарии использования являются критическими с точки зрения производительности.

2. Создать и выполнить тестовые сценарии, которые моделируют высокую нагрузку на приложение. (контекст в начале был задан такой, что когда выходит новая серия, то нагрузка может быть очень большой).

3. Проанализировать данные и сделать отчет о тестировании производительности.

Разумеется, всё это я делаю исключительно силами и умом чата GPT. Даже исследование приложения я доверяю чату, описав его суть. Для экономии места и пространства приложу скрин второго задания. По обыкновению ничего не убираю/редактирую, доверяю чату на 100%.

Выполняю задание часа за 2, отправляю, жду дальнейших решений. Есть уверенность, что смогу пройти дальше.

Часть 3 – срываем маски!

И… я действительно прохожу дальше. И выхожу на собеседование с лидом команды тестировщиков, который захотел обсудить результаты моего тестового. Как к этому готовиться? 

Решаю просто спросить у чата по итогам тестового, какие слабые места могут быть в этих ответах, раскрываю каждый и заучиваю.

Через 2 дня за пару минут до созвона я запаслась вкладками, подсказками и уверенным лицом, но это меня не спасло, потому что, забегая вперед, посыпалась я на том, на чём не ожидала совсем. 

Созвон начинается хорошо, на него пришел лид и сеньор из команды, начинаем с базы, постепенно углубляясь. Я стараюсь перехватывать инициативу и говорить много, рассказываю про тестовое. Все, как учила, в общем. Они кивают, где-то улыбаются (хороший знак?), а потом ставят меня в тупик вопросом об опыте работы. Лид Саша говорит, что погуглил мои “проекты”, и не нашел ни одного. После неловкой паузы объясняю, что все это такие глубокие стартапы, о которых гугл и знать не знает. Вряд ли можно купиться на такой ответ, поэтому они продолжают очень точечно уничтожать мой эксперимент. Спрашивают про университет, про курсы, уточняют, кто там преподавал, и что мы изучали. 

Здесь я окончательно сыплюсь, потому что и курсы, и университет, и работа были сгенерированы GPT, а фактчекингом я не занималась. 

Не буду пересказывать мой получасовой позор, скажу только, что в конце решила признаться и рассказать про эксперимент. Ожидала негатив, но получила в основном шутки и ироничные комментарии о моих ответах. Ребята оказались очень приятными, а главное – понимающими, потому что мы в оставшееся время обсудили обманы при устройстве и выяснилось, что к ним уже пытались так пробиться пару человек! Поэтому сейчас они пристально смотрят и проверяют базовые вопросы, к которым GPT обычно не готовит, и поменяли флоу приема, чтобы на этапе тестовых проверять причастность нейросетей.

Ребята оказались с юмором, и после созвона прислали мне смешной отказ: “С огромным сожалением сообщаем, что не можем пригласить вас и ваш чат GPT в нашу компанию”.. и далее по тексту.

Я решила обратиться к HR своей компании Каруна, чтобы узнать, а как в моей родной компании борются с нейронками во время собеседований, и борются ли вообще. Наша рекрутер Оксана ответила так: 

Использование кандидатом чата GPT в ходе ответа на вопросы на интервью видится мне довольно сложным: ввести сам вопрос, дождаться генерации ответа и выдать краткую выжимку из написанного прямо в ходе звонка и при этом не подать вида, что ты выпал из беседы — это прямо искусство.

Соглашусь с Оксаной: бегающие по экрану глаза и звуки клавиатуры если не смутят, то явно оставят много вопросов. Я отключала камеру, это меня немного спасло, но от цепкого взгляда наших HRов не уйдёт ни один жулик. А ещё Оксана считает, что всё хорошо – в меру, и технологии – тоже. 

Использование чата в ходе выполнения тестового очень распространено сейчас, и, честно, я не вижу в этом ничего плохого. Во-первых, у нас всегда есть техническое собеседование, которое отлично помогает опознать сильные стороны кандидатов и пробелы в их знаниях. Во-вторых, способность адаптироваться к современным реалиям, методикам и инструментам отличает хорошего специалиста. Если кандидат способен ввести корректный запрос, опознать подходящие предложенные решения, применить их к выданному заданию и блестяще справиться с задачей, то это прекрасно! Сейчас огромное количество специалистов внедряют ИИ в свой рабочий процесс (и я не исключение, штука отличная), и это видится мне положительной тенденцией.

Итог

Эксперимент и правда зашел далеко! В разработчики меня зарубили раньше, тут я почти дошла до финала. Но все равно итог один – пусть чат GPT долго и качественно сопровождал меня на этом пути, но работу только с помощью него я не получила. Как отмечает Ксюша, middle-тестировщица Каруны, GPT подходит для оптимизации рутинных задач, например документации. А уж заменить полностью сотрудника или устроить его на работу не может. Так что пока живем!

P.S. Геймдев компания Х никак не пострадала. Мы даже потом продолжили переписку, обсуждая разные лазейки. Они отнеслись к моему эксперименту как настоящие тестировщики: решили углубить его и воссоздать новые сценарии.