В начале этого года Machine Intelligence Team запустила программу для студентов и молодых ученых в области искусственного интеллекта — Science Club. Cегодня мы расскажем подробнее о программе, об участниках и задачах, в частности о темах и менторах в области обработки естественного языка от лаборатории нейронных систем и глубокого обучения МФТИ.

Что такое Science Club?

Science Club — это новый формат работы над научными задачами, цель которой — дать талантливым и молодым исследователям возможность работать вместе с профессиональными исследователями. От потенциальных участников требуется некоторый опыт, время и желание достигать высоких результатов.

Мы же предлагаем вам научиться:

• находить актуальные исследовательские задачи, решать их и доносить решение до научной группы: перед стартом любого исследования нужно понимать, зачем его делать и на что повлияют результаты решения задачи;
• моделировать решение задачи и реализовывать SotA результаты: обилие фреймворков и реализованных моделей позволяют комбинировать различные подходы для получения новых решений, и оперативное прототипирование, проверка гипотез помогут реализовать научные идеи;
• делать обзор научной области и выделять ключевые направления исследований: задел любого исследования — это хороший обзор области исследования. В мире постоянно публикуются новые исследования, и навык быстрого поиска и выделения ключевой информации необходим любому исследователю;
• описывать результаты исследований и готовить их к публикации в международных источниках: одно дело — получить интересные результаты, и совсем другое — рассказать о них научному сообществу так, чтобы они нашли применение в исследованиях других научных групп;
• ставить вычислительный эксперимент и получать воспроизводимые результаты: хорошая научная работа является воспроизводимой при условии отсутствия ошибок в поставленных экспериментах и вычислительный эксперимент — это единственная возможность проверить перспективы предложенных гипотез для исследователя области AI;
• выступать на научных семинарах и международных конференциях: создание сообщества вокруг интересной задачи или нерешенной проблемы — один из эффективных способов поиска ее решения, а совместная работа возможно только тогда, когда ее инициатор умеет доносить мысли до сообщества.

Участие в Science Club не является оплачиваемой стажировкой и строится исключительно на научном интересе. Однако после написания первой статьи можно рассчитывать на приглашение постажироваться в компании у научного руководителя.

Кто может стать вашим научным руководителем в Science Club?

Михаил Бурцев, к.ф-.м.н.

Руководитель DeepPavlov.ai и заведующий Лаборатории нейронных систем и глубокого обучения МФТИ. В период 2017-2019 гг. руководил проектом НТИ «НейроИнтеллект iPavlov». В 2019-2020 учебном году был научным руководителем команды DREAM, участвовавшей в конкурсе Alexa Prize Socialbot Grand Challenge 3 от Amazon. Главный организатор Международных соревнований по диалоговым системам на конференции NeurIPS (Conversational Intelligence Challenge 1 & 2), член экспертного совета робототехнического центра и член экспертного совета грантового комитета Европейской комиссии по направлению Future and emerging technologies, член научного совета Политехнического музея.

Интересы: нейросетевые модели обучения, нейрокогнитивные и нейрогибридные системы, эволюция адаптивных систем и эволюционные алгоритмы

Юрий Куратов

Исследователь Лаборатории нейронных систем и глубокого обучения МФТИ. Победитель соревнования по разработке диалоговых систем NIPS Conversational Intelligence Challenge 2017 в составе команды bot#1337.В 2019-2020 учебном году был капитаном команды DREAM, участвовавшей в конкурсе Alexa Prize Socialbot Grand Challenge 3 от Amazon.

Интересы: языковые модели, разрешения кореференции, BERT, ответно-вопросные модели для SQuAD.

Василий Коновалов

Исследователь Лаборатории нейронных систем и глубокого обучения МФТИ. Получил степень M.Sc. in Computer Science. Является преподавателем курса в МФТИ: Применение глубокого обучения нейронных сетей для задач обработки естественного языка.

Интересы: диалоговые системы, вопросно-ответные системы, трансферное обучение

Алексей Гончаров

Руководитель MIL Team.

Интересы: signal processing, semi-supervised, expert systems, time series clustering

Вашим руководителем может стать одних из этих ученых, полный список можно найти на сайте. Также мы работаем над привлечением в программу топовых руководителей, и если у вас есть идеи тем и опубликованные научные работы, — мы ждем вас в наших рядах.

Какие задачи ставятся перед учеными в Science Club?

Все наши темы лежат в области ИИ. Часть руководителей занимаются computer vision, другие — natural language processing. Здесь для примера мы поделимся вариантами NLP-тем от лаборатории нейронных систем и глубокого обучения МФТИ:

Создание универсальной архитектуры на основе Transformer для решения NLP проблем в рамках создания целеориентированных диалоговых систем (соревнование DialoGLUE): intent recognition, slot filling, semantic parsing, dialog state tracking.

• Intent recognition. Распознавание намерей пользователе в диалоге на основе трех диалоговых датасетов: BANKING77 (single domain: banking), CLINC150 (10 domains), HWU64 (21 domains) содержит классы релевантные для создания виртуальных ассистентов.
• Slot filling. Задача вычлениния необходимой информации для выполнения цели диалога (заказ столика в ресторане или билета на рейс). Используется для датасета: RESTAURANT8K, DSTC8.
• Semantic parsing. Задача полного семантического анализа предложения на основе датасета TOR.
• Dialogue state tracking. Задача определения текущего состояния диалога на основе датасета MULTIWOZ.

Дополнительные ресурсы — https://arxiv.org/pdf/2009.13570.pdf, https://arxiv.org/pdf/2002.02450

Автоматизация глубокого обучения и эволюционные алгоритмы для поиска нейросетевых архитектур (AutoML & NAS)

• Иерархическая нейроэволюция. Архитектуру современных нейросетей, состоящих из глубоких последовательностей повторяющихся блоков, можно оптимизировать на двух уровнях — уровне гиперпараметров блоков и уровне внутренней архитектуры самого блока. Фреймворк для нейроэволюции, разработанный в лаборатории, сегодня позволяет эволюционировать параметры и последовательности блоков, но не структуру отдельного блока. Предлагается разработать и исследовать алгоритмы по совместной оптимизации общей топологии сети, гиперпараметров блоков, и внутренней архитектуры блоков.

Обработка естественного языка и разговорный ИИ (NLP & Conversational AI).

• Виртуальный друг. Создание диалогового агента, способного изучить предпочтения и особенности личности пользователя, давать рекомендации, создавать и поддерживать взаимопонимание в процессе разговора. Агент будет использовать графы знаний и нейросетевые модели рассуждений.

Дополнительные ресурсы — https://arxiv.org/pdf/1801.07243.pdf

• Обсуждение текста. Разработка и исследование моделей для ведения диалога по текстовому фрагменту —- статье Википедии, новости и другим источникам.

Дополнительные ресурсы — https://arxiv.org/pdf/2005.00613.pdf

• Быстрые языковые модели, дистилляция. Обучение языковых моделей меньшего размера с дистилляцией знаний из больших предобученных моделей.

Дополнительные ресурсы: — https://arxiv.org/abs/1503.02531, https://arxiv.org/abs/1910.01108

Полный список тем можно найти на сайте. Не откладывайте выбор темы, так как количество мест ограничено. Если у вас есть свои идеи, но вам нужна помощь в их реализации и проверке гипотез, то вы можете найти в сообществе подходящего наставника.

Уже появились идеи. Куда идти подавать документы?

Чтобы начать, нужно заполнить форму на сайте, указав желаемую дату начала работы и понравившуюся тему. Далее мы сами свяжемся с вами и дадим тестовое задание. После его успешного выполнения мы будем рады пообщаться с вами, очно или в зуме, чтобы понять, подходим ли мы друг другу.

Не бойтесь подавать заявку, если вы не из МФТИ. Программа подразумевает участие любых технических специалистов. Так что велкам)

Зачем нужна такая программа? На конференциях, таких как Sberbank Journey, все чаще поднимается тема лидерства в сфере ИИ и роли в молодых ученых из России в развитии этой сферы. Поэтому основная цель Science Club — это не только продуктивное научное руководство, а возможность создать сообщество мирового уровня, участники которого пишут статьи высокого уровня (Q1) и выступают на топовых конференциях (NIPS). Это не просто слова, а реальная достижимая цель, на пути к которой каждый участник может внести свой вклад в развитие ИИ в глобальном масштабе!

Не откладывайте науку в долгий ящик, станьте ее частью прямо сейчас!