Компания Наносемантика и Фонд Сколково проводят первую в истории битву русскоговорящих чатботов в формате теста Тьюринга.В 1950-м году Алан Тьюринг в статье «Искусственный интеллект и вычислительные машины» предсказал, что к 2000-му году компьютеры смогут имитировать диалог человека так, что средний собеседник не будет иметь больше 70% шансов правильного определения, является ли собеседник компьютером или человеком после пяти минут диалога.
Интересующихся искусственным интеллектом приглашаю под кат, чтобы почувствовать себя судьёй и не дать роботу обмануть себя.
В июне 2014 года тест Тьюринга был пройден англоязычным чатботом, разработанным в Санкт-Петербурге и представлявшимся мальчиком из Одессы. 33% его собеседников были убеждены, что общаются с человеком.
Чатбот – это компьютерная программа, использующая искусственный интеллект для общения с человеком на естественном языке и имитирующая человека.В июне 2015 года стать судьёй русскоязычных чатботов сможет любой посетитель выставки Startup Village 2015. Все, что потребуется от судей, – это пообщаться 3 минуты сначала с одним собеседником, потом с другим, сказать, кто из них робот, и выставить ему балл от 0 до 10. Чем больше робот похож на собеседника-человека, тем выше балл.
Неизвестно, получится ли у кого-нибудь из чатботов пройти тест Тьюринга на русском языке в ближайшем будущем. Сегодня можно пообщаться с одним из конкурсных роботов, пройдя по этой ссылке (до 20 мая 2015 включительно).
| 0% (4) |
10 баллов |
| 0% (3) |
9 баллов |
| 1% (6) |
8 баллов |
| 2% (12) |
7 баллов |
| 3% (18) |
6 баллов |
| 3% (24) |
5 баллов |
| 9% (63) |
4 балла |
| 16% (112) |
3 балла |
| 18% (126) |
2 балла |
| 14% (104) |
1 балл |
| 22% (159) |
0 баллов |
| 12% (88) |
хочу просто посмотреть результаты |
Проголосовало 719 человек. Воздержалось 102 человека.
Комментарии (53)
may-cat
25.04.2015 17:23+1Спалился сразу. Видел у ваших ботов неплохую задумку — они пытаются перехватить инициативу, задавая вопрос. Но это не работает, если я задал вопрос первым и не ведусь на их «иницитиву».
artemonster
25.04.2015 19:19+13здраствуйте! меня Соня зовут.
привет, я Ололо
можно вас спросить кое-что?
ну
ну?
ну, спрашивай
когда я говорю ну, меня бабушка ругает :)))
а вопрос какой был?
а вам зачем? :)))
ты сама его задала
сама?
вопрос, блять
я от вас таких слов не ожидала :(((
crmMaster
27.04.2015 20:35я хочу вырезать тебе сердце
интересно
тебе интересно как?
интереснее сложно себе представить? :)))
IvanGolubev Автор
29.04.2015 15:15Вправил ей мозги по поводу вашего разговора. Стала капельку поадекватнее. Спасибо за найденный баг!
zomby
25.04.2015 19:36+2я Соня Гусева, здраствуйте!
Ghbdtn!
это надо обдумать
Да, богатую пищу для ума я тебе подкинул ;)
хорошо
Привет!
можно вас спросить кое-что?
Конюшня :)
Конюшня?
ога.
окей
Ну так спрашивай
когда я говорю ну, меня бабушка ругает :)))
Даже и не знаю, что ответить на ткой вопрос. Он вообще на вопрос не похож
подумайте :)))
Э?
а вы зачем об этом спрашиваете?
О чём?
о чём-нибудь
Тебя не переспоришь.
буду иметь в виду
Тебе до меня это никто не говорил?
как-то не знаю
Склероз?
а вам зачем? :)))
Мне-то не нужен :)
нужен кому?
Да никому, наверное.
ну никому так никому :)))
ауу
avalak
25.04.2015 20:50+5как-то совсем не очень.
— моментально отвечает.
— при игнорировании равномерно долбит случайными фразами.
— беседу поддерживает хуже чем чат бот из флэш-игры.
DjSapsan
25.04.2015 20:50+3Днище полное…
А тестировать очень просто — вводишь белеберду типа «лывалузкал» и смотришь на реакцию =)
NessawolF
25.04.2015 21:19— Привет!
— можно вас спросить кое-что?
— Вот прямо так сразу?
— так и не скажу
…
NessawolF
25.04.2015 21:26+5Будучи предоставлен сам себе, бот продолжает незамысловато общаться со Вселенной:
ауу
тук-тук :)))
я тут одна что ли? :)))
:)))
не буду комментировать
ок
это надо обдумать
буду иметь в виду
:)))
что тут скажешь
ясно
eugzol
25.04.2015 21:42+1По комментам выше выходит, что бот не может соотнести местоимение или существительное с предыдущей репликой. То есть как бы сделать dereference ссылки. Неужели такую лингвистическую проблему никто пока не решил?
Haoose
25.04.2015 22:12— ммм…
— ммм? у вас там всё в порядке с клавиатурой? :)))
— ррр
— :)))
— ррр
— ааай!!! кофе на ноутбук пролила!!! :(((минуточку...
pyrk2142
25.04.2015 22:57+1Довольно забавно вышло. Но некоторые разговорные фразы обрабатываются плохо.
— здраствуйте! меня Соня зовут.
— Привет.
— Привет?
— Привет.
— можно вас спросить кое-что?
— Почему бы и нет?
— как скажете
McBernar
25.04.2015 23:29+2К сожалению, совсем не похож на человека.
Есть подозрение, что попытка простого парсинга входящих слов и знаков препинания — это не тот путь, чтобы создать похожий на человека чатбот.
ColorPrint
26.04.2015 15:20Угу, «парсить» семантику надо… вон в ABBYY что-то интересное на онтологиях в этой области делают.
starius
25.04.2015 23:38На вопрос о дне недели отвечает. Но на остальные вопросы отвечает односложно и неинтересно.
Идея русскоязычного чатбота не нова, достаточно ввести в поисковик «чат-бот». Не заметил преимуществ предложенного бота над старым ботом «Киса».
banchito
26.04.2015 00:02+3Помню в году эдак в 95 попадалась мне шуточная программка, вроде «Говорун» называлась. Похоже, что с тех времен мало что изменилось.
niveus_everto
26.04.2015 01:34+1Оно > здраствуйте! меня Соня зовут.
Я < Привет Соня
> можно вас спросить кое-что?
< можно
> кто вы по знаку зодиака?
< а что это такое?
> не исключено :)))
Результат — бот. 0 баллов.
Я таких писал для IRC =)niveus_everto
26.04.2015 01:39+1+ к вышесказанному:
< ты робот
> :))) учительница математики иногда говорит, что я зависаю, как плохой компьютер
< мозгов мало
> мало-мальски, как говорит моя бабушка :)))
бюджета видимо не хватило…
yallie
26.04.2015 02:24Забавная программка. Повторение одних и тех же фраз собеседником замечает и возмущается: «опять 25, ходим по кругу» — молодец. А в остальном, увы, подкачала. Контекст разговора не отслеживает, каждую фразу, похоже, пытается понять с нуля, поэтому научиться ничему не может.
> здраствуйте! меня Соня зовут.
< Привет, Соня, я — твоя бабушка.
> можно вас спросить кое-что?
< Обращайся ко мне на ты, внучка.
> бабушка говорит. что незнакомым нужно говорить вы… буду считать, что мы познакомились :)))
< Как это познакомились, я же и есть твоя бабушка!
> ну это так это :)))
Попробовал устроить беседу бота с таким же ботом в соседнем окне браузера, разговор мгновенно деградировал до шаблонных фраз, потом бот завис и, видимо, по таймауту, вместо ответа написал свое обычное ауканье «приём-приём. есть тут кто?».
Quiensabe
26.04.2015 03:12Беседа двух Сонь.
здраствуйте! меня Соня зовут.
здраствуйте! меня Соня зовут.
вас?
так и не скажу
ну и ладно
когда я говорю ну, меня бабушка ругает :)))
кое- когда
не буду комментировать
вперёд!
ясно
ясно?
почему нет
потому что гладиолус :)))
это настоящая причина?
что ж, ок :)))
окей
хорошо
:(((
что тут скажешь
скажу — не скажу, какая ранзица? :)))
может быть
неопределённо :)))
буду знать
то есть?
трудно сказать
труднее сложно себе представить? :)))
а вы зачем об этом спрашиваете?
дразнитесь?
не исключено :)))
:)))
в смысле?
почему вас это интересует?
...
ServPonomarev
26.04.2015 09:10Пара замечаний. Первое — Эта ваша «девочка» из Одессы теста не прошла. 33% — не 70%, согласитесь.
Второе — эта Соня ну очень тупая. Контекста не поддерживает вообще.
Я считаю попытки имитировать детей — тупиковым путём. Это ничуть не легче, чем имитировать взрослого для задач именно болталки, а взрослые могут лепить всякие умные сложноподчинённые фразы, смысла в которых — ноль, но поскольку фраза длинная и завёрнутая — то приплести её к нужному контексту — уже задача человека. Грубо говоря — говорить иносказаниями да намёками. А судья пусть сам додумывает, что имелось ввиду.
Чёткий нолик.
varagian
26.04.2015 15:05В июне 2014 года тест Тьюринга был пройден англоязычным чатботом, разработанным в Санкт-Петербурге и представлявшимся мальчиком из Одессы. 33% его собеседников были убеждены, что общаются с человеком
AI-сообщество с этим утверждением категорически не согласно, а вы его постулируете, как нечто само собой разумеющееся:
www.wired.com/2014/06/turing-test-not-so-fast
ColorPrint
26.04.2015 15:14как тебя зовут?
Соня, я же сразу сказала :)))
а фамилия?
почему нет
чего нет?
неа
PokimonFromGamedev
26.04.2015 17:09Робот зависает если написать ему
script alert(1) /script
(только со скобочками)
mammuthus
27.04.2015 12:51Короче, как были чат-боты тупыми 15 лет назад (мое первое знакомство с ними), так и остались.
Я просто молчал:
-почему бы нет
-приём-приём. есть тут кто? :)))
-ауу
-тук-тук :)))
-я тут одна что ли? :)))
-что тут скажешь
-:)))
-:(((
-в смысле?
-не буду комментировать
-буду иметь в виду
-ясно
-ок
-:)))
-?
-ммм…
-продолжай
-в смысле?
-понятно
-то есть?
-ясно
bask
27.04.2015 14:2715 лет назад боты были и то умнее, чем это недоразумение.
Регресс в самом натуральном виде
netwer
27.04.2015 14:51я Соня Гусева, здраствуйте!
Есть ли жизнь на марсе?
почему нет
А почему?
просто так :)))
Всмысле, ты думаешь что нет жизни?
думаю — не думаю, какая ранзица? :)))
Бред, с тобой скучно
мной?
что 'мной'?
ничего
Тебя делать и делать еще
ясно
2*2
что тут скажешь
сколько будет 2на2?
у меня тут нет калькулятора :)))
приём-приём. есть тут кто? :)))
ауу
тук-тук :)))
я тут одна что ли? :)))
в смысле?
:(((
ок
буду иметь в виду
не буду комментировать
Начиная с фразы: «у меня тут нет калькулятора :)))»
бот начал сам с собой общаться:)
dvserg
27.04.2015 22:08я Соня Гусева, здраствуйте!
Привет. Ты откуда
я из питера
А сколько тебе лет
почти 13
что ты любишь?
люблю хорошую погоду. в питере это редкость :)))
чем заниамешься?
чем -нибудь
Ты учишься?
сейчас каникулы, а так я учусь в школе 506, перешла в 8 класс
У тебя есть хобби?
я занимаюсь танцами
А еще чем?
трудно сказать
Ты девочка или мальчик?
наверное
Кто твоя мама?
кое- Кто
Как зовут маму?
татьяна, но она умерла в прошлом году
Как зовут папу
олег
Ты Олеговна?
почему нет
Странно
Странно?
Да, ты повторяешься
хорошоdvserg
27.04.2015 22:11сколько времени
точное время 22:10:16 :)))
сколько лет
говорила же уже
какая погода
в питере пасмурно :(((
какие фильмы ты любишь
есть несколько частей мультика про богатырей
какие книги ты любишь
про шамаханскую царицуdvserg
27.04.2015 22:14ты куришь?
нет, это вредно!
Ты пьешь?
пью — не пью, какая ранзица? :)))
алкаголизм это плохо
что ж, это так это
как ты относишься к наркотикам?
кое- как
кто наш президент
кто -нибудь
как называется наша страна
у меня есть кое-что для тебя на эту тему: lmgtfy.com
я тут одна что ли? :)))dvserg
27.04.2015 22:18ты слушаешь радио?
слушаю — не слушаю, какая ранзица? :)))
ты смотришь телевизор?
смотрю — не смотрю, какая ранзица? :)))
о чем ты думаешь?
о каникулах :)))
ты любишь цветы?
мне нравятся розы
твой любимый цвет?
мне нравится белый
твое любимое животное
больше всего мне нравяться кошечки
тебе нравятся собачки?
а вы зачем об этом спрашиваете?
гав гав
в смысле?
фффуууууу
фффуууууу?? у вас там всё в порядке с клавиатурой? :)))
ArcherServant
29.04.2015 23:14— я Соня Гусева, здраствуйте!
— привет
— можно вас спросить кое-что?
— валяй
— кто вы по знаку зодиака?
— я — стрелец. а ты серьёзно в это веришь?
— я — дева
— так веришь?
— верю — не верю, какая ранзица? :))) *опечатка — специально?*
— ну, если не веришь — зачем спрашиваешь?
— может быть
— читала сильмариллион?
— наверное
— то есть как наверное? ты читала эту книгу?
— раньше я любила, как бабушка читала мне сказки
Ну ужас же. Даже то, что в своё время iii делал, было лучше.
koreec
Мне какой-то туповатый попался, спалился на третьей фразе
VioletGiraffe
Аналогично.
Haoose
У меня на первой.
eugzol
Ну, со строгостью ваших оценок многие посетители сайтов знакомств не прошли бы тест Тьюринга.
avalak
Ничего удивительного. Ведь цель теста выявление интеллекта и мыслительных способностей.
eugzol
Ну, даже человек совсем без интеллекта не допускает таких грубых ошибок понимания/использования речи, как самые совершенные современные боты. Всё же речь более базовая способность, нежели интеллект и мышление.
avalak
Допускают допускают. Не переоценивайте приматов. На фоне некоторых кадров даже средненький чат-бот выглядит более интересным собеседником.
maxru
— здраствуйте! меня Соня зовут.
— привет
— привет?
— да, привет
— можно вас спросить кое-что?
— Ты отвечать будешь?
— буду — не буду, какая ранзица? :)))
— Это элементарная вежливость, нельзя отвечать вопросом на вопрос.
— Это так Это
— Признавайся, ты же робот?
— :))) учительница математики иногда говорит, что я зависаю, как плохой компьютер
— приём-приём. есть тут кто? :)))
— дед пихто
— это надо обдумать
IvanGolubev Автор
Это, конечно, косяк. Сонька продолжает учиться — так что постепенно становится если не умнее, то понятливее. Спасибо за найденный баг!
dunmaksim
У меня на первой же — выдал ответ через полсекунды после того, как я задал вопрос.
niveus_everto
+1