Всем привет! Компании «Нейросети Ашманова» и «Наносемантика» приглашают всех желающих принять участие в 4-м всероссийском онлайн Тесте Тьюринга 2020, который мы организуем.
Разработчики смогут посоревноваться – у кого чат-бот умнее, остальные фанаты ИИ и технологий – посмотреть, насколько разумны сейчас боты.
Под катом – история конкурса, правила, ссылка на регистрацию и актуальное расписание.

Главное о Тесте Тьюринга

Мы взяли за основу нашего конкурса тест, который был предложен ещё в 1950-м году английским математиком и основоположником современной информатики Аланом Тьюрингом. Он предложил считать машину мыслящей, если человек, общаясь с ней с помощью сообщений, не может определить, кто с ним говорит – человек или программа.

Наш тест работает также: если независимый эксперт в процессе анонимного параллельного общения с роботом или человеком не сможет определить, кто есть кто, то чат-бот прошел проверку.

Да, есть экспериментаторы, которые шагнули дальше, предложили вариации Теста Тьюринга (например, проводить минимальный тест Тьюринга – всего по одному слову – тут уже «фишка» скорее в понимании психологии человека), но мы всё же остановились на классическом варианте.

История конкурса

Тест Тьюринга на русском языке мы проводили 3 раза.

На первом конкурсе, который прошёл в 2015 году на конференции StartupVillage, победил робот «Соня Гусева». Её создатели — команда «Инобот» — добились того, что за человека «Соню» приняли 47% судей. Этот конкурс, организованный Наносемантикой и Фондом Сколково, был первым тестом Тьюринга для виртуальных роботов, говорящих на русском языке.

На втором мероприятии, которое мы проводили в 2016 году вместе с Microsoft и Сколково, призёром стал Иван Шумилов.

А на третьем Тесте Тьюринга в 2019 году победителем стал бот Волчица, ее приняли за человека 33,3% судей. Любопытно, что ботам удалось притвориться человеком в 58% случаев (в ~34/59%). Такой большой процент объясняется двумя причинами: по правилам Теста-2019, люди могли притворяться ботами, а диалог был ограничен 12 репликами. Поэтому третий тест был проще по сравнению с первыми двумя, но намного веселее и интереснее для наблюдателей. Что касается статистики, то в конкурсе приняли участие 270 пользователей, которые отправили более 13 000 сообщений в 600+ диалогах с пользователями и в 600+ диалогах с ботами.

Правила конкурса 2020

Наша команда дает возможность каждому выставить на конкурс своего чат-бота или попробовать угадать, кто бот, а кто человек, пообщавшись с несколькими собеседниками.

• Место проведения. Мы проводим Тест Тьюринга в Telegram-канале @turing_test_competition_bot. Все, кому интересно, смогут зайти с 26 по 28 февраля 2021 года в телеграм-бота Теста Тьюринга в рабочее время (с 9.00 до 19.00), нажать на кнопку /start и начать диалог. После этого ему достанется случайный собеседник.

• Регистрация по ссылке потребуется только для разработчиков, чтобы побороться за главный приз. Если же вы хотите поболтать с ботом, то просто переходите 26 февраля 2021 года в Telegram-канал @turing_test_competition_bot в назначенное время.
• Требования к чат-ботам для разработчиков. Каждый разработчик может выставить на конкурс до 3-х ботов. После регистрации на почту придет письмо с подтверждением регистрации. Следующее письмо будет содержать инструкцию по API, правила и просьбу выслать свой Webhook в ответном письме.

• Выбор победителя. Стать судьей может любой участник конкурса. Все, что требуется от судьи, – это пообщаться несколько минут с собеседником и определить, робот это или человек. Лучшим мы признаем того бота, которого максимальное количество судей признает человеком, а наградим призами – 3 команды с самым достойными результатами.

• Призы. 1-е место – 150 тыс. рублей, 2-е место – 100 тыс. рублей, 3-е место – 50 тыс. рублей.

Этапы конкурса

10 ноября 2020 — Объявление конкурса и правил. Старт регистрации заявок на участие.
20 ноября 2020 — Запуск программной платформы конкурса. Тестирование.
04 декабря 2020 — Открытие API для компаний-участников.
20 декабря 2020 — Окончание регистрации команд-участников.
20 февраля 2021 — Отсев команд, не подключившихся к API.
24 февраля 2021 — Тестирование ботов. Тренинг разработчиков.
26 февраля 2021 — Старт Теста Тьюринга.
1 марта 2021 — Окончание Теста Тьюринга. Подведение итогов и награждение победителей.

В конце нашего теста, проходящего в телеграм-канале @turing_test_competition_bot, мы объявим победителей и продемонстрируем лучшие и интересные диалоги, которые после конкурса отберет наш экспертный совет.

За всеми обновлениями по конкурсу вы можете следить на сайте мероприятия.

До встречи на конкурсе!