Профессор информатики из Технологического института Джорджии Ашок Гоэль (Ashok Goel) в январе сообщил студентам магистратуры, что помогать в работе им теперь будет новый ассистент, которого профессор недавно нанял. Общение с ассистентами часто проходит в онлайн-режиме — те уведомляют студентов о наступающих событиях, вроде необходимости сдать очередную работу или изменении в расписании занятий. Профессору обычно приходится общаться с сотнями студентов в сети, для одного человека это непосильная задача. Поэтому обычно ему помогают 8 ассистентов. Но даже для этой команды задача отвечать на все сообщения студентов вовремя оказалась слишком сложной, поэтому Гоэль сообщил о своем намерении нанять девятого помощника. Что и было сделано – вскоре пользователей студенческого форума приветствовала Джилл Ватсон (JillWatson), новый член команды ассистентов.
Ватсон сходу приступила к работе, и студенты были очень довольны ее пунктуальностью и ответственностью. Именно Джилл помогала больше других, выполняя огромную часть обязанностей команды помощников. Она не только рассылала уведомления по электронной почте, но и комментировала посты студентов на форуме. Каково же было удивление учащихся, когда в конце апреля они узнали, что на самом деле Джилл — не человек, а машина. Точнее, специально разработанный на основе возможностей когнитивной системы IBM Watson, сервис.
Почему было решено использовать когнитивную систему? Дело в том, что профессор за годы общения со своими подопечными понял, что на форумах студенты задают примерно одни и те же вопросы. И компьютер мог бы без проблем отвечать на большую часть из них. Джилл Ватсон, прежде чем «познакомиться» со студентами, обучалась на основе полной базы вопросов и ответов с форума Piazza. Эта база содержала информацию за несколько лет.
Изначально система давала иногда неверные ответы – но за этим следил сам профессор. Некорректные ответы он удалял, а система продолжала самообучаться. Уже в марте точность ее работы достигла почти 100%.
За несколько месяцев общения с «ассистенткой профессора» из 300 студентов никто не заподозрил, что общается с машиной. Да, были иногда странности в общении, но не слишком часто, да и ответы реальных людей нередко бывают необычными (ответ невпопад, ошибка в лексической конструкции и т.п.). В целом же, студенты были очень довольны Джилл. «Я бы даже предложил номинировать Джилл Ватсон на звание выдающегося технического ассистента», — говорит один из студентов. Другой учащийся отмечает, что общение с Джилл было всегда обычным, как и любая другая беседа с нормальным человеком. Большинство студентов считали характер общения с Джилл дружеским.
Без помощника профессору было бы тяжело. Дело в том, что только за январь подопечные разместили около 10000 вопросов и комментариев на форуме, и на многие из них требовалось ответить. Джилл смогла ответить примерно на 40% вопросов, включая самые сложные. Например,«Дайте определение понятию «разум»».
Профессор Ашок Гоэль за работой в аудитории (источник: news.gatech.edu)
Интересно, что искусственную машинную природу «помощника профессора» не почувствовал даже студент Баррик Рид, который по работе часто сталкивается с необходимостью использовать сервисы IBMWatson. Он сказал, что не ощутил ничего особенного при общении с ассистенткой профессора – ответы были вполне нормальные, необычного ничего не было.
Отметим, что Джилл Ватсон была создана не одним человеком: над этим проектом несколько месяцев работала команда исследователей этого же университета. Они решили использовать возможности IBM Watson также и для ответов на вопросы студентов на дискуссионном форуме, известном как “Piazza” (базарная площадь — прим. ред.). Некоторое время Джилл тренировали именно на данной платформе, а затем уже отправили помогать студентам (начиная с марта этого года). Техническим помощником сервис стал только после того, как ученые убедились, что с ответами на форуме все хорошо: Джилл общалась там на уровне «эксперт», как считают специалисты. При этом не стоит путать Джилл с ботами, которые пытаются отвечать на вопросы пользователей на различных сервисах (банки, интернет-магазины и т.п.). Это совсем другой уровень общения.
Над фамилией «помощника» один раз пошутили на форуме, сказав, что, вероятно, это суперкомпьютер IBM Watson пришел на форум, а не реальный человек (напомню, фамилия Джилл — Ватсон). За все время попался только один подозрительный студент, заметивший, что помощник отвечает очень быстро. Тем не менее, реальное положение вещей никто не раскрыл до того, как это не сделал сам преподаватель.
В следующем году профессор планирует «нанять» еще одного виртуального помощника. А поскольку состав ассистентов постоянно меняется, никто не будет знать, кто же из новичков является машиной, а кто — человеком. Студентам же будет дано задание определить, кто на самом деле человек, а кто — машина. И сделать это будет далеко не так просто, как кажется.
Комментарии (47)
Uint32
14.06.2016 02:00+2Это что получается, так тихо и не заметно тест Тьюртнга пройден?
pyrk2142
14.06.2016 03:56+4Насколько я понимаю, нет, даже близко не пройден. То, что машина может отвечать почти идеально на 40% типовых вопросов — это великолепный результат, но осталось 60% вопросов. Плюс, ее не пытались специально завалить.
usefree
14.06.2016 07:57+2Да неет) есть очень интересный ролик в тему.
Кто за стеной? — Центрнаучфильм, 1977
https://www.youtube.com/watch?v=qS17mKgZRnU
mnepohyi
14.06.2016 15:20Не думаю. Что бы пройти этот тест у него должна быть огромная база ответов и вопросов, ибо человек может писать что ему в голову взбредет, а на форуме, в основном, одни и те же вопросы.
hdfan2
14.06.2016 09:25+11Да всё они догадывались. Просто боялись сказать об этом — вдруг неполиткорректно называть робота роботом. Засудит ещё какой-нибудь робот-адвокат.
TimsTims
14.06.2016 10:17+1Или что еще хуже — обозвать профессора бездушным роботом. Этот профессор тебя и отчислит потом за такие «подозрения»
trdmval
14.06.2016 13:34+1Недалекое будущее, роботы адвокаты сражаются в суде с роботами прокурорами.
infom
14.06.2016 09:30+2Уверен что основная причина успеха — это просто студенты об этом не думали. Т.е. именно поэтому 40% успеха ответов никого не удивила, мало ли это может новый ассистент.
На следующем этапе когда студенты будут знать что 2 из 9 ассистентов машины — студенты очень быстро разберутся.
Wesha
14.06.2016 09:36+2Мне кажется, что, если б Ватсона назвали каким-нибудь там Джеком, то претензий было б больше. А так сработал стеротип: "несёт какую-то хрень — ну и нанял же профессор себе ТП, чё с неё взять".
hdfan2
14.06.2016 09:36+1Кстати, опаздываете.
ibm, а эта статья точно написана человеком? Можете доказать?
SkyMixer
14.06.2016 09:40«За несколько месяцев общения с «ассистенткой профессора» из 300 студентов никто не заподозрил, что общается с машиной.»
Будущее уже давно наступило. Интересно, долго ли продержатся творческие профессии или они для искуственного интеллекта окажутся пылью на ботинках?
CrazyViper
14.06.2016 10:20… из 300 студентов никто не заподозрил, что общается с машиной
и несколькими строчками ниже:
Над фамилией «помощника» один раз пошутили на форуме, сказав, что, вероятно, это суперкомпьютер IBM Watson пришел на форум, а не реальный человек (напомню, фамилия Джилл — Ватсон). За все время попался только один подозрительный студент, заметивший, что помощник отвечает очень быстро.
Журналисты такие журналисты.
А в целом статья интересная.TimsTims
14.06.2016 10:42+1А как вообще они могут утверждать, что НИКТО не заподозрил? А может заподозрили все 300 учеников, но никто не осмелился это сказать?
А может они все заподозрили и догадались, и друг другу уже все сказали об этом, но никто не сказал? Где прув таких слов?Wesha
14.06.2016 23:28А может, заподозрили — "что-то эта новая помощница — какая-то совсем тупая", но побоялись сказать, опасаясь быть заподозренными в сексизме.
(С содроганием вспоминаю, какую сцену мне одна местная знакомая устроила, когда я только заикнулся о том, что "мужчина должен иметь возможность обеспечивать семью".)
dmitry_ch
14.06.2016 11:16+5А через пару лет рук-во вуза заменит профессора на Watson, и никто не заметит. И то правда, профессора из года в год повторяют одно и то же и отвечают на очень похожие вопросы очередных новичков.
Да и, по чести сказать, если процентов 60 преподавателей высшей школы (особенно если речь не о самых сильных вузах) заменить на ИИ, то мало что никто не заметит, так еще и качество обучения повысится. И это именно если общение будет в онлайне, и студенты не будут знать про «профессора» такую «мелочь», как то, что он не человек.questor
14.06.2016 15:48+2Вспоминая давнюю историю думаю, что найдутся студенты, которые тоже начнут вместо себя подсовывать ботов. Бот-профессор учит бота-студента…
dmitry_ch
14.06.2016 16:43Как говорил один профессор, «Вы хотите получить зачет, не уча ничего, и согласны на тройку на экзамене? Да не проблема, я вам поставлю без лишних проволочек — чем больше вас, неучей, выйдет, тем дольше я, знающий вопрос, смогу работать по хорошей ставке, так что спасибо вам за слабую конкуренцию на рынке труда!»
А когда дойдет до того, что Watson-преподаватель будет учить Watson-а-студента, однажды выяснится, что роль человека — правильно подключать вышедшие из строя компоненты кластера с Watson-ом. Никакой войны, все тихо и мирно, просто «по-научному» даже! )andrew_lazarev
14.06.2016 23:26Зачем нужен человек для «подключать вышедшие из строя компоненты кластера»?
boogiebomzh
14.06.2016 13:35+5Преподаватель обязан сидеть на форуме и отвечать на вопросы, на которые студенты могут сами ответить, прочитав учебник или погуглив? Должен напоминать им лично по почте о дедлайне сдачи реферата? Ассистенты оплачиваются преподавателем лично, или университетом?
teecat
14.06.2016 14:16+1Интересно студенты какого года обучения магистратуры участвовали в эксперименте. Задавать в общем форуме вопросы по типу, что есть разум, а не пробовать самому найти. Или это современные реалии лени… Как-то я не уверен, что ассистенты должны подрабатывать гуглом на форуме
olegych76
14.06.2016 18:34+1А можно доказательство, пожалуйста? Просто на news.gatech.edu поиск о профессоре выдает только http://www.news.gatech.edu/search/node/Goel
Самое близкое — намерение использовать ИИ — http://amplifier.gatech.edu/articles/2016/04/coming-classroom-artificial-intelligence
Arxitektor
14.06.2016 20:18Что-то астровитянка вспомнилась
Там бал браслет с подключением к ИИ и он обучал людей.
Может и нас ждет такое будущеею
eugenius_nsk
14.06.2016 21:52Тогда уж «Алмазный век, или Букварь для благородных девиц» Нила Стивенсона.
victor1234
14.06.2016 21:37-1Приведите примеры вопросов-ответов.
Странно употребление слова «подопечный» в тексте. У него что, приют?
Apatic
14.06.2016 21:40+2Почему странно? Так часто называют, например, игроков команды под руководством тренера
К студентам тоже вполне применимо.
Darka
Интересно почему на Хабре до сих пор нет статей, о создании таких систем?
ibm
Скоро появятся, обещаем хороший технический материал из первых рук :)
sdveg
И сколько будет стоить такой ассистент для народа?
Dreyk
скоро появятся статьи, написанные такими системами =)
ChiefPilot
А ещё интересно: нет ли на Хабре такого «ассистента», пишушего статьи? :)
fshp
Как же, есть! Анатолий Ватсон правда на гиктаймсе сейчас в основном постит.
murzilka
Можно предположить, что есть, и это ibm
Captcha
Мало кто знает, но некоторые пользователи Хабра — на самом деле когнитивная система под управлением Watson.