Google хочет помочь вам добиться успеха на собеседованиях. Но его новый инструмент заставляет задуматься о том, как в наши дни проводятся интервью и в правильном ли направлении мы все идём.
В рамках инициативы Grow with Google компания 18 мая запустила новый сайт Interview Warmup. Вам задаются вопросы по выбранной специальности, вы в микрофон надиктовываете свои ответы, и на основе искусственного интеллекта Interview Warmup расшифровывает их в режиме реального времени. И указывает на ваши ошибки, чтобы вы могли их исправить.
Доступны несколько типов заданий. Можно практиковаться в собеседованиях на аналитика данных, в ИТ-поддержку, e-commerce, управление проектами, UX-дизайн и так далее. ИИ задает вам различные ситуационные и технические вопросы, записывает ответы, распознает шаблоны, проверяет, есть ли в ответах то, что он искал. В частности, система подмечает профессиональные термины, которые вы используете, темы, которые вы поднимаете, и слова, которые вы произносите чаще всего.
Почему-то ИИ сейчас настроен так, что в ответе нежелательно использовать одно и то же слово более трех раз. Вместо этого он предлагает вам похожие слова, которые можно было бы использовать.
Google говорит, что изначально разработала Interview Warmup, чтобы помочь учащимся Google Career Certificate подготовиться к собеседованиям при приеме на работу в компанию. То есть, если бот вас одобрит, по идее можно готовиться к переезду в США :)
Пока что инструмент доступен только на английском языке. Но оно и понятно: те, кто говорят только на русском, в Кремниевой долине Google не интересны, и тратить силы на тренировку машины тут смысла нет.
Компания говорит, что не сохраняет у себя аудиозаписи наших ответов. Но зато мы можем вручную скопировать или распечатать стенограмму в конце интервью. Например, чтобы посмотреть, как наши ответы улучшаются с течением времени.
Как это работает на практике?
На самом деле, мне кажется, инструмент наглядно показывает состояние корпоративной культуры. И направление, в котором движется Америка, с пресловутым упором на soft-skills даже для технарей. А еще оказывается, что пройти интервью здесь очень даже непросто.
Google Interview Warmup обещает помочь набраться практики по ключевым вопросам, получить понятие о том, какие должны быть ответы, и в целом настроиться на интервью, чтобы дальше проходить его было комфортнее. ИИ внимательно слушает, записывает, выдает советы. Кстати, на деле, оказывается, можно просто печатать свои ответы, так что даже подключенный микрофон не нужен.
Инструмент позволяет практиковаться в собеседованиях по пяти позициям. По каждой из них вам выдают пять случайных вопросов. После каждого ответа Interview Warmup показывает, какие Talking Points можно было использовать (чтобы разговорить интервьюера), и какие термины, связанные с работой, желательно было бы упомянуть.
Но вопросы, в ответах на которые нужно тренироваться, конечно, поражают.
Например, на должность аналитика данных первым вопросом у меня было: «Можете ли вы рассказать немного о себе?». Я поведал машине немного о своей жизни. Робот мой ответ забраковал: ничего особо интересного в нем не нашлось. Хотя, с другой стороны, ему понравились все фразы со словом “love”, которые показывали мой интерес. И он одобрил использование двух тематических слов.
Второе интервью, которое я решил пройти, касалось UX-дизайна.
Первый вопрос тут был: «Что вы делаете, когда вам нужно узнать что-то новое?»
Я решил попробовать задобрить машину, сыграв на её честолюбии. И ответил: «Это зависит от того, что мне нужно узнать. Если мне нужно выучить новое блюдо, я гуглю его рецепт. Если мне нужно научиться плавать, я гуглю "инструктор по плаванию". В любой ситуации я предпочитаю гуглить ответ, это самый надежный вариант».
ИИ, несмотря ни на что, остался недоволен моим рассказом. Ни talking points, ни job-related terms он в нём не нашел, и вообще всеми силами давал понять, что никакой работы в будущем мне не светит.
Расстроившись, я пошел попробовать подготовиться хотя бы к интервью в e-commerce. Уже стандартно рассказал о том, кто я такой, и почему мне интересна эта отрасль. Сообщил, какими вижу свои цели через пять лет. И получил вопрос: «Объясните преимущества платформ электронной коммерции тому, кто совершенно не знаком с электронной коммерцией».
Наконец-то! Наверное, это должен быть вопрос, требующий творческого ответа! Всё-таки это Google, а мы живем в 2022 году.
Поэтому я попытался сказать: «Здравствуйте. Как дела у вас в космосе? А у нас тут есть такая штука, как электронная коммерция. Она работает в чем-то, что называется Интернетом. Скоро мы надеемся отправить к вам нашего лучшего эксперта по электронной коммерции Джеффа Безоса на его ракете, чтобы он мог объяснить вам все детали процесса».
ИИ был мной явно не впечатлен. По его мнению, такой ответ «не предлагал никаких заметных тем для разговора». И дело тут вряд ли было в моем не идеальном английском: Google вполне нормально распознавал и записывал текст. Ну, печаль.
В общем, чем больше я пытался, тем больше мне не удавалось заинтересовать робота. Он явно затаил на меня что-то нехорошее. Креатив, похоже, тут не приветствуется. По всем параметрам выходило так, что в Google меня не возьмут.
Но в итоге, наконец, я сделал прорыв. Один из вопросов в моем интервью на аналитика данных звучал так: «Расскажите мне о случае, когда вам приходилось решать несколько конкурирующих задач. Что вы делали и каковы были результаты?»
Я ответил: «Не существует такой вещи, как несколько конкурирующих задач. Я просто выбираю ту из них, которая принесет мне наибольшую пользу в настоящий момент. И решаю её».
За такой ответ ИИ меня «похвалил». Сказал, что хорошо, что я привел пример. Где здесь был пример — для меня осталось загадкой.
Может ли здесь быть польза?
В общем, всё это очень странно, и не уверен, что работает так, как задумывалось. По крайней мере в сфере анализа текстов ИИ пока явно тупит. Да и вопросы кажутся какими-то супер-простыми.
С другой стороны, видно, что робот действительно пытается быть полезным. Он дает вам список ключевых слов, которые можно использовать в интервью. Их очень много. Ну а если во время проверки он найдет у вас в ответе и нужные words, и нужные job-related terms, и несколько talking points, и всё это подсветит, значит, вы царь горы. Можно идти прямо к Брину и требовать повышения.
А вообще, изучив несколько десятков вопросов из разных категорий, я задумался — это вот так сейчас проходят собеседования в Google? Обязательно что-то про ваш бэкграунд, много вопросов о ваших поступках в разных ситуациях. И совсем чуть-чуть технического, где нужно просто не забыть набросать умных слов.
Ведь этот инструмент был специально создан, чтобы помочь людям получить карьерные сертификаты от Google. А значит, этот уровень компанию худо-бедно, но удовлетворяет.
Возможно, это самая просто базовая помощь? Оно же так и называется — Warmup. Видимо, этот ИИ призван помочь тем, кто особенно нервничает на собеседованиях? Они получают возможность потренироваться, разговаривая с роботом. А потом спокойно посидеть и подумать, как улучшить каждый свой ответ, чтобы системе понравилось. Это, наверное, лучше, чем практика перед зеркалом…
Но судя по тому, сколько статей я нашел с попытками найти хорошие ответы на эти базовые вопросы, это в США вполне реальная проблема. Как ответить, чтобы и никого не задеть, и не было слишком банально, и дальнейший разговор поддерживало, и твою профессиональность показывало.
Если самый важный вопрос на собеседовании для аналитика данных — это «Расскажите нам, пожалуйста, о своих сильных и слабых сторонах», и к ответу на него нужно тренироваться, и для этого нужен специальный сайт с ИИ, то вопросов больше нет.
По мне, всё это у Google больше похоже не на собеседование, а на какое-то сочинение на вольную тему. Или устный экзамен. Только с очень эксцентричным профессором.
Попробуйте сами пройти интервью (доступно только на Chrome или Safari). Чтобы оно по каждой из категорий нашло у вас в ответе что-то интересное. У кого получилось?
Промокод для читателей нашего блога!
— 15% на все тарифы VDS (кроме тарифа Прогрев) — по промокоду HabrFIRSTVDS.
50 тысяч активных серверов и 10 тысяч клиентов, которые с нами больше 5 лет.
Комментарии (25)
nronnie
26.05.2022 13:16+6Недалеки времена, когда ИТ-шники будут посылать на интервью ИИ вместо себя, и собеседовать этот ИИ будет еще один, другой ИИ.
tsurugi-no_ken
26.05.2022 13:20+1Боюсь, что и зарплату в этом случае тоже будет получать ИИ = вместо найма работника арендуют облачный серивс ИИ заменяющего работника. :(
amarao
26.05.2022 14:22+1А кто всё это писать будет?
Напоминаю, что
is_valid(data, prepare(data))после должной оптимизации (например, с помощью проекций Футамуры) сворачивается доreturn True, потому что все функции чистые и для фиксированного ввода заменяются на lookup-значение не теряя в корректности.
lxsmkv
26.05.2022 14:32Как я понимаю, в идеальном мире чистых функций (программистском раю) все было всегда очень чисто и красиво, но приехали побочные эффекты и все загадили.
amarao
26.05.2022 14:43+1Вот как раз на это я и намекаю. Если ИИ тестирует ИИ, то результат теста - это не чистая ли функция, случайно?
lxsmkv
26.05.2022 16:22+2В этом одна из особенностей искуственного интеллекта в моем понимании, что машина на один и тот же вопрос может дать различный ответ. В зависимости от контекста, поэтому она как раз таки совсем не чистая. И тестировать ИИ по этой причине довольно затруднительно, у нее область значений четко не очерчена. Где брать "оракулы"? Только опираться на интерпретацию ответа в контексте поставленной задачи. И тут тоже нет четкого разделения между правильным и неправильным ответом.
Format-X22
27.05.2022 21:20А что если я скажу что контекст - это аргументы функции?
lxsmkv
27.05.2022 22:08GPT-3 имеет 175 миллиардов параметров. И конечно там учитывается контекст. Но что происходит когда значение функции вычислено? Есть ответ. Ответ передается человеку, который уже интерпретирует его, в зависимости от своего контекста. Как, например, уровня интеллекта и образования. Как оценить данный машиной ответ? Придется механизм человеческой интерпретации так же оцифровать, и тогда выданый машиной результат будет оценивать машина. Тогда на выходе оценочных ИИ мы получим ответы вроде "по версии машинного интеллекта А это стихотворение - шедевр метамодернизма, а по версии интеллекта B это бессмыссленый плохо рифмованый текст". Что делать человеку с таким результатом? То что, скажем, "Черный Квадрат" одни считают шедевром а другие черным квадратом мы и так знаем. И правильного ответа нет.
Или вот другой мысленный эксперимент. Мы задаем двум ИИ задачу написать эссе по заданой картине. Оба выдают свою интерпретацию. Мы подключаем третий ИИ который оценивает оба эссе, но этот уже прямо такой продвинутый что у него контекст очень обширный. Он оценит эти эссе и напишет на них критику. Потом мы подключим четвертый ИИ у которого контекст еще шире предыдущего, и попросим его прокомментировать критику данную предыдущим ИИ. Не известно к чему мы придем по такой цепочке, но как оценить "правильность" данной нам в конечном итоге инфромации? Можно будет только проверить что да, алгоритмические механизмы отработали правильно. Но верен ли результат? Ведь когда мы в приложении встречаем ошибку, на самом деле компьютер ведь ведет себя корректно, он выполняет "неправильно" закодированную задачу. Просто нас такой резулътат не устраивает. Без оценки человеком резулътат обработки информации теряет смысл.Format-X22
27.05.2022 22:21+1Всё в мире относительно и 2+2 тоже может быть 5 если 2 обозначает 2,5 относительно привычной нам десятеричной системы счисления. А вопрос тут в цели и оценке погрешностей. Даст ли нам оценка этого эссе или черного квадрата ответ на наш вопрос... кстати, какой? Если ответ на тему сколько может стоить - это одно, если на тему химического состава полотна или частоты букв и время появления в обороте слов - это другое. Как говорится "Если шкала измерений приводит к парадоксу - проблема в шкале". Собственно если мы можем построить шкалу оценки чего-либо и можем сформулировать вопрос - у нас уже повыше шансы получить правильный ответ, особенно если мы тестируем систему перед тем как задавать вопросы. Ну а далее погрешность и оценка не только ошибки, но и рисков с ними связанных. Например деревянная межкомнатная дверь может на пару миллиметров быть поуже чем было необходимо для дверного проема, но проблем это не создаст, особенно если у нас порожек тоже с запасом и сквозняков не будет, тут размеры ошибок относительно миллиметров роли особо не играют. Другое дело люк на космической станции. Ну и в целом можно полностью довериться машине если в целом ответы которые она генерирует устраивают. К слову, спам-фильтры вполне нынче справляются со своей работой, там конечно не только оценка текста, но и поведения, и всё же.
lxsmkv
26.05.2022 14:21+4[лирическое отступление]
Как я понимаю существенную долю в живых интервью занимает попытка общей оценки, что ты за человек, и насколько ты подходишь по духу и характеру.Мне например на позицию автоматизатора/тестмендежера задавали вопрос (вживую) писал ли я уже когда нибудть тест-концепции, и из чего она должна состоять. На что я честно ответил что нет, не приходилось, но тест-концепция должна отвечать на два вопроса: "что" (тестировать, а что не тестировать, например) и "как" (тестировать, вручную, автоматом) чтобы можно было получить четкую картину того, как именно и в каком объеме идет проверка качества на проекте. И их такой ответ удовлетворил.
Как мне показалось важно быть собой. И если ты действительно разбираешься в своей профессии, то тебе это не составит труда. Если не сойдетесь в философии так не сойдетесь. А если пытаться угодить интервьюеру, то никому от такого собеседования пользы не будет.
Из странных вопросов, меня спрашивали где я вижу себя через 5 лет, на что я честно сказал, что так далеко не загадываю, события в мире порой меняются слишком стремительно. Поэтому концентрируюсь на то чтобы делать свою работу хорошо. И их такой ответ тоже устроил. Спрашивали как коллеги оценивают мою работу. Тут я привел пример который по моему мнению говорит о том, что коллеги меня ценят. Давали ситуативные вопросы, чтобы понять как я отношусь к дискриминации. Знаю ли об особенностях других культур общения и как я несмотря на это смог бы добиться выполнения поставленной задачи.
Угадать какой ответ хочет услышать интервьюер - невозможно, поэтому не надо даже пытаться. Надо относиться к этому как психологическому тесту, просто честно отвечать. А в конце узнашь результат. Я на собеседование шел с установкой, не я хочу устроиться на работу, а это им нужен хороший специалист, и если я им окажусь не нужен, ну что ж, найдутся те кто лучше разбирается.
Кстати если кому-то надо немного поднять самооценку рекомендую завести профиль на линкедине или чем-то похожем. Подписаться на профильные группы, и специалистов из вашей индустрии. К вам начнут через какое-то время прилетать запросы от скаутов. Рекомендую также отвечать на запросы, даже если отказом, это помогает тренировать коммуникационные навыки, а они чуть ли не важнее профессиональных. Потому что, чтобы попасть в профессию нужно пройти собеседование, а это практически чисто коммуникационный софт скилл. Общайтесь в профессиональных кругах, пишите комментарии к интересным профильным постам. Все это сильно прокачивает коммуникационные навыки и помогает в рефлексии и переосмыслении своей профессии. Так что вы в конце концов делаете вроде все то же самое, но умеете это хорошо разяснить.
[/лирическое отступление]Так.. че-то лирическое отступление затянулось.. А по теме я хотел сказать вот что:
Не думаю что ИИ заменит реальные собеседования, скорее ее будут подключать для отсеивания широкой массы кандидатов. Просто проверка на адекватность, и базовое профессиональное соответствие. Уже кадровикам будет легче.
Ava256
26.05.2022 18:44+2Все это напоминает какой-то фантастический рассказ про борьбу людей и туповатых автоматов и мы не заметили как это будущее наступило.
event1
26.05.2022 19:59Мне кажется, вы не правильно воспользовались этим инструментом. Это помощь и подсказка по тем темам, по которым люди часто теряются и заваливают интервью. Про сортировку пузырьком любой может рассказать. А связать что-то подходящее на вопрос "расскажите о том когда вы поругались с боссом" — куда более трудная задача.
serge-sb
27.05.2022 12:31Интересно получается, вроде должна быть толерантность, но у людей с нарушениями речи (или вообще немых) нет шансов пройти тест?
Dirty_Purity
27.05.2022 13:03Не думаю что ИИ заменит реальные собеседования, скорее ее будут подключать для отсеивания широкой массы кандидатов.
Скрининг резюме на ключевые слова уже внедрили с такой целью, сильно ли он помог? По мне так только процесс отклика на вакансию для кандидата усложнился и теперь нужно набивать резюме ключевыми словами из описания вакансии. Так же и роботов люди научатся обходить вкучивая им в железное ухо то, что они хотят услышать. И при этом сильно растёт шанс проморгать хороших специалистов которые не хотят или не умеют (а за пределами IT таких полно) плясать с бубном, приседать и делать "Ку" перед бездушным роботом.
2fidel
29.05.2022 07:42Ровно такие же выводы я описал в своей последней статье. Причем подобный подход не ограничен IT, он везде. Тупые вопросы, лицемерные ответы, и ни слова по профессии. Когда мы пропустили тот момент как эйчарское г-но начало влиять на наши жизни так сильно?
Keeper1
Следующий шаг Google. Уволить всех HR и интервьюеров. Все собеседования, включая онлайн-кодинг, проводят вот такие вот роботы.
Alexufo
будут откатывать и накатывать релиз вместе с кандидатами
Arnak
Но вот как с таким ИИ выяснить, правда ли человек что-то понимает? Задавая в основном вопросы в стиле "расскажите о своих маме и папе".
Я так понимаю это просто этап скрининга такой. Чтобы выяснить, человек вообще умеет ли говорить, и может ли причинно-следственные связи базовые строить.
mentin
Именно. У меня такой был первый скрининг в большую американскую компанию. Девушка из HR точно как этот ИИ ничего не понимала, но как потом оказалось (по дружбе рассказала рекрутеру что работала со мной) когда я (по моему мнению) дал исчерпывающий ответ и остановился, ожидая более глубоких вопросов и давая выбор интервьюеру куда рыть дальше - решила что я больше ничего не знаю, и поставила минус. На втором интервью я уже таких ошибок не делал, болтал пока не остановят, и это понравилось.
Вот таких HR, которые не могут на самом деле оценить понимаю я что-то или просто треплю языком, этот ИИ сможет заменить. Ну или подготовить кандидатов к общению с ними :)
Dartess
Робот спрашивает робота...
nail84
какова твоя профессия?