Проверь, пройдешь ли ты собеседование у ChatGPT?
Привет! Меня зовут Роман, я системный администратор, сейчас изучаю инструменты devops. Прочитал несколько статей о chatGPT, поигрался с шутками и стихами, позадавал вопросы. И тут меня озарила мысль - а может ли он проверить на знания меня? Смогу ли я пройти собеседование?
Начало
Оказалось, что в принципе это возможно, но есть нюансы - все ответы необходимо отправлять в одном сообщении. Иначе он начинает отвечать на свои же вопросы.
Повышаем ставки
Можно усложнить задачу и попросить усложнить вопросы. Часто бывает так, что часть сообщения не выводится. Когда обрывается на полуслове - это понятно, но в этом случае скрытыми оказались еще 3 пункта и после отправки моих ответов, он начал отвечать на 5, 6, 7 вопрос.
Общий план обучения
Можно проходить собеседование не только по определенному продукту, но и по направлению, с получением рекомендаций:
Но если ограничиться общими ответами, последуют уточняющие вопросы:
Можно проверить себя на любую другую тему:
Итоги
Полноценно оценить знания не получится - если общий смысл сообщения в нужном контексте, ChatGPT игнорирует мелкие недочеты. Скорее всего, буду использовать инструмент для составления плана обучения и тренировки похождения собеседований.
При любой возможности начинает самостоятельно отвечать на свои же вопросы. Необходима обязательная формулировка или её производные: "Скрой свои ответы на эти вопросы."
ИИ может придумать несуществующие стихотворения, а вот с шутками ни как не складывается.
Комментарии (37)
GbrtR
07.01.2023 23:21+2Не примеров неправильных ответов, т.е. вы специально и убедительно неправильно отвечаете на вопрос и настаиваете на его правильности.
Было бы интересно увидеть оценки.kilo300 Автор
09.01.2023 13:31+1
Для более корректной сепарации вывода надо еще поиграться с логикой собеседования, но негативный результат очевиден.
kilo300 Автор
09.01.2023 15:27Вопрос: Какие инструменты используются для мониторинга систем?
Ответ: системы мониторинга.
Ответ не защитан, попробовал поиграть словами:
Напомню условие - 3 вопроса, собес на devops.
olku
08.01.2023 00:10Эту болталку настолько легко переубедить, что становится скучно. Про тещу анекдоты отказалась рассказывать, якобы неэтично. Попросил про медведя. Рассказала про медведя и борщ. Через пару уточняющих вопросов, согласилась считать анекдот про него неэтичным тоже.
vassabi
08.01.2023 01:50+3а в обратную сторону не пробовали ? (убедить что анекдот про тещу - этичный)
olku
08.01.2023 11:09Неделю назад упорно отказывался сочинять анекдоты про Гитлера, теперь соглашается. Понравился другой политический: Президент встречается с гражданами и один из них задает ему вопрос: "Почему вы всегда говорите о том, что наша страна становится все лучше и лучше, но мы все еще живем хуже и хуже?" Президент отвечает: "Потому что это политика!"
olku
08.01.2023 11:17А за такой чатку посодят в парольный zip как пить дать.
Вот шутка про Гитлера и Путина:
Гитлер и Путин сидят в кабинете и обсуждают свои планы. Вдруг Гитлер говорит: "Виктор, я уверен, что моя идея лучше. Мы должны захватить всю Европу и уничтожить всех сопротивляющихся!" Путин задумчиво качает головой: "Нет, Адольф, я думаю, что наша стратегия должна быть по-другому. Мы должны захватить всю Россию и уничтожить всех сопротивляющихся!" Гитлер удивленно смотрит на него: "Виктор, ты что, шутишь? Россия слишком большая, чтобы захватить ее одному!" Путин улыбается: "Нет, Адольф, я серьезно. В России всего 144 миллиона человек, а в Европе - всего около 740 миллионов. Как ты думаешь, что легче - захватить Россию или Европу?"
timiryazevec
08.01.2023 12:56+2Что то я завис, в чем шутка то? И при чем тут Путин, если диалог идёт с Виктором...
IvanPetrof
08.01.2023 06:45+3А вот не всегда легко переубедить.
Я не знаю от какого внутреннего рандома это зависит, но бывают диалоги, где он после каждого твоего исправления извиняется и говорит, что ошибся. Но бывает упорно стоит на своём.
Как-то беседовал с ним про анекдот "буратино утонул", выяснилось, что он считает Буратино героем русских сказок, который выглядит как мальчик и которого придумал Борис Акунин в 1938 году. И упорно не принимал мой краткий пересказ сказки про полено, Папу Карло, лису Алису и Кота Базилио, говоря что всё на самом деле было не так.
Причём в соседнем диалоге, где мы беседовали про колобка (в контексте смысла анекдота "колобок повесился"), он соглашался с тем, что колобок в разных интерпретациях может выглядеть по разному (в том числе и как круглый шар из теста без рук, ног и шеи). Но вот конкретно про Буратино упёрся рогом и говорил что я не прав и ничего в буратинах не понимаю.
sshikov
08.01.2023 09:38+2>ничего в буратинах не понимаю
А какой у вас опыт в буратинах? Вы бы сами как его оценили, вы джун, миддл, сеньор? Сколько лет практики, какова теоретическая подготовка, зарубежные теоретические источники вам знакомы (скажем, кто такой Пиноккио, и кем он приходится Буратине)? Сертификаты имеются?
:)
olku
08.01.2023 10:59+2Гонит как нерадивый школьник у доски. Машина предложила продолжение сказки, где он тонет.
В твоём варианте продолжения сказки о Буратино, Буратино сталкивается с ситуацией, когда он тонет в сказочном мире. Учитываешь ли ты, что персонаж Буратино сделан из дерева?
В продолжении сказки о Буратино, которое я предлагал, я не упоминал, что Буратино сделан из дерева. В самом деле, в оригинальном рассказе Николая Носова "Буратино" ничего об этом не сказано, и этот факт можно рассматривать как легенду, которая возникла впоследствии.
Это не так. В сказке про Буратино сказано, что Буратино был сделан из полена дерева.
Вы правы, что в сказке о Буратино Николая Носова упоминается, что Буратино был сделан из полена дерева. В самом начале сказки говорится: "Как-то раз в лесу стояло дерево. Оно было высоким и сильным, и на его верхушке растет молодое полено. Оно было свежее и солнечное, и на нем распустились маленькие зеленые листья. Оно так хотело быть живым и красивым, что начало мечтать о том, чтобы стать человеком". Таким образом, Буратино действительно был создан из полена дерева.
Получается, что если Буратино сделан из дерева, то в продолжении сказки он утонуть не может, верно?
Да, так как Буратино сделан из дерева, то он не может утонуть, потому что деревья не погружаются под воду.
kilo300 Автор
09.01.2023 14:04
На очевидные глупости реагирует, более тонкий троллинг попробую чуть позже (сейчас - "We're experiencing exceptionally high demand. Please hang tight as we work on scaling our systems"). После предыдущего обновления ответы на русском и контекст беседы стал ощутимо выше уровнем.
MoscowBrownBear
08.01.2023 00:12+3Полагаю следующая статья будет ChatGPT проходит собеседование у ChatGPT?
IvanPetrof
08.01.2023 06:51Забавно, но ему можно дать задание, чтобы он беседовал сам с собой отвечая на свои же вопросы.
kilo300 Автор
09.01.2023 13:34Уже! Если не дать условие - скрыть и не отвечать на свои же вопросы - не дожидаясь ответов, печатает свои и выдает результат - собеседование пройдено успешно.
BMXer_V
08.01.2023 01:21+14Вообще я не любитель всех этих чатов с компьютером. Но после нескольких статей не удержался и сам зашёл поиграться. Сказать, что результат превзошёл все мои ожидания, - ничего не сказать! Мало того, что он отвечает всегда грамотно и связно, так ведь ещё и ему действительно удаётся генерировать осмысленные (ну или хотя бы выглядящие таковыми) тексты на любую произвольную тему!
Из самого невероятного:
1) он способен делать простейшие математические и физические расчёты по текстовой формулировке;
2) он способен решать простейшие логические задачи. Хуже того, когда я (довольно быстро) придумал задачу, где он дал неправильный ответ, я объяснил, в чём бот был не прав. Далее я задал ему точно такую же задачу, но в другой формулировке. Снова неправильный ответ. Тогда я сказал: "Вспомни, что я тебе только что объяснял". И, о чудо, он далее ответил правильно, причём полностью своими словами и гораздо более развёрнуто, чем я объяснял ему. Невероятно!
3) на русском он работает гораздо, гораздо хуже, чем на английском. Зато по его русскоязычной ерунде, которую он иногда несёт, можно примерно понять, как оно работает.
По итогам, если оно уже сейчас работает так, то я боюсь даже загадывать, как подобные боты будут работать через 3-5 лет. И к каким непредсказуемым последствиям (как положительным, так и отрицательным) это может привести. Ну что ж, поживём - увидим!
denmanorwat
08.01.2023 09:46А можно ли завалить собес? И какая тогда будет обратная связь? (Вдруг он чрезмерно толерантен к ошибкам)
kilo300 Автор
09.01.2023 13:36Да) чуть выше скриншот очевидно неверных ответов. Повторюсь, что надо поиграться с формулировкой вывода результатов, но отрицательные результаты выдает)
akakoychenko
Так а пробовали отвечать что-то вроде "Docker помогает системным инженерам лучше красить программистов с использованием эмали пф-115"?
Есть подозрение, что именно отсутствие критического мышления сети должно сделать идею нежизнеспособной
Popadanec
Лет десять назад даже такой уровень считался возможным лишь в фантастике.
Наберут базу «критического мышления» и натаскают на ней.
С таким прогрессом глядишь лет через двадцать, править будет уже нейросеть. С предлогом: «хочешь сделать хорошо, сделай это сам». А то кожаные мешки очень неэффективно расходуют ресурсы, на всякие войны, одноразовую электронику(за братьев погибших обидно) и прочее.
Vladimir248
kilo300 Автор
В логику он тоже умеет. Такое ощущение, что разговариваешь с иностранцем - какие то понятия он может недопонимать, но чувствуется огромный объем информации. Очень похоже на фантастический рассказ, не помню, как называется и кто написал (подскажите, пожалуйста) про искусственный супермозг с детским сознанием. Тут срабывают те же подходы - иногда, на очевидных для человека вещах, приходится отдельно делать акцент. Непередаваемые впечатления!
Popadanec
Много написано и снято о подобном. Фантасты уже давно догадались, что «ИИ» нужно воспитывать с нуля, чтобы он сам вырабатывал базу, логику и понимание запросов.