Сфера AI не стоит на месте: продолжают появляться как новые задачи для применения алгоритмов, способных решать узкоспециализированные проблемы, так и новые архитектуры и подходы, призванные приблизить нас к созданию сильного искусственного интеллекта. Люди, интересующиеся AI и ML, тоже меняются: прокачивают свои навыки, изучают свежие фреймворки и методы, прорабатывают новые идеи — и ждут новых интересных вызовов и больших возможностей. По всем этим причинам мы тоже не можем остановиться — и вновь проводим AI Journey Contest! А это значит, что лучшие специалисты по искусственному интеллекту снова внесут свой вклад в развитие AI-технологий и поборются за призовой фонд, который в этом году составит более 5 млн рублей. Победители будут объявлены в ноябре, так что самое время зарегистрироваться на сайте AI Journey Contest и начать решать задачи.

В этом году мы предлагаем четыре очень разных задачи: от идентификации бактерий по масс-спектрам и восстановления данных по вылову рыбы до распознавания малоресурсных языков и создания бимодальной мультизадачной модели. Последние годы справедливо можно назвать прорывными с точки зрения развития мультимодальных архитектур: DALL-E, DALL-E 2 и CLIP от OpenAI, нейронка AI M6, разработанная Alibaba, а также ALIGN и BASIC от Google — все эти модели задают высокую планку.

Сбер не остался в стороне: в 2021–2022 годах мы представили различные версии моделей Kandinsky и ruCLIP, а также первое соревнование по созданию мультимодальной мультизадачной архитектуры FusionBrain Challenge. Теперь мы ставим перед собой и участниками ещё более амбициозные цели, предлагая открыть black box. Однако на этот раз в ней прячутся не только глубинные принципы работы нейросети, но и сами задачи. А ещё в этом году к проведению контеста присоединился Институт искусственного интеллекта AIRI.

Мы хотим мотивировать участников соревнования на поиск изящных и нестандартных решений, которые были бы оптимальны с точки зрения затрат вычислительных мощностей, поэтому впервые в рамках каждой задачи соревнования вводится дополнительная номинация «Самое экологичное решение». Её метрика — объём косвенного выделения углекислого газа (СО2) в процессе обучения модели. Она будет рассчитываться автоматически с помощью библиотеки Eco2AI.

 C полными условиями участия и остальной информацией можно ознакомиться в разделах с описаниями каждой задачи на платформе AIJ Contest. 

FusionBrain Challenge 2.0

По итогам прошлогоднего FusionBrain Challenge мы получили множество положительных отзывов и тёплых комментариев. Соревнование называли необычным, интересным и вдохновляющим; отмечали, помимо явного прикладного значения, и его фундаментальную важность. Звучали и слова сожаления: проблема настолько глубокая и нетривиальная, что хотелось бы иметь больше времени на исследования и эксперименты, — вот бы последовало продолжение… Мы услышали эти пожелания и в этом году устраиваем FusionBrain Challenge 2.0.

Трек FusionBrain Challenge 2.0 схож со своим предшественником: участникам предлагается разработать единую multitask-модель, которая могла бы успешно решать задачи, относящиеся к нескольким модальностям (в данном случае — визуальной и текстовой). Появились, впрочем, любопытные дополнения, которые делают соревнование ещё более интересным и необычным. Во-первых, теперь подзадач не 4, а 12, причём 6 известны участникам изначально (открытые подзадачи), а 6 — неизвестны (скрытые подзадачи). Во-вторых, теперь модель должна уметь определять тип подзадачи, принимая на вход её описание на естественном языке. Цель участников — разработать и обучить модель на основе знаний только об открытых подзадачах с тем, чтобы проверить ее обобщающую способность на скрытых подзадачах и понимание текста подзадачи.

Открыты следующие подзадачи.

• Text QA — задание на понимание прочитанного текста, которое предполагает умение модели устанавливать причинно-следственные связи в тексте, разрешать кореференции, а также определять правильную последовательность действий, учитывая временную информацию. Каждый семпл состоит из текста, вопросов к нему и (в некоторых случаях) вариантов ответов. Ответом на подзадачу является текстовая строка — ответ на поставленный вопрос.

• Mathematical QA — задание проверяет способность модели выполнять простейшие арифметические действия, необходимые для решения линейных уравнений или систем линейных уравнений, а также производить операции сравнения. Каждый семпл состоит из математического примера, который описан на естественном языке (используемые арифметические операции — сложение, вычитание, умножение и деление), и иногда включает варианты ответа. Ответом на подзадачу является текстовая строка — ответ на поставленный вопрос.

• Image Generation — задание подразумевает генерацию изображений на основе текстовых описаний на русском языке. Ответом на подзадачу является изображение, чьё содержание соответствует входному текстовому описанию.

• Image Captioning — задание подразумевает генерацию текстовых описаний к изображениям на русском языке. Ответом на подзадачу является текстовая строка, описывающая содержание входного изображения.

• Visual QA — задание проверяет способность модели формировать ответ на вопрос, требующий анализа соответствующего изображения. Каждый семпл состоит из изображения, текстового вопроса к нему, а иногда — и вариантов ответа. Ответом на подзадачу является текстовая строка — ответ на поставленный вопрос.

• Text Recognition in the Wild — задание по распознаванию текста в городской среде или иной подобной местности (на вывесках и дорожных знаках, в рекламных объявлениях и т. п.). Каждый семпл представляет собой фотографию объектов с изображённым на них текстом. Ответом на подзадачу является текстовая строка, содержащая все распознанные на входном изображении кириллические и латинские буквы, а также распространённые специальные символы.

Входной JSON-файл будет содержать семплы по 12 подзадачам, при этом никакие идентификаторы подзадач не будут указаны. Участникам потребуется «научить» модель определять, что нужно делать, только из текстового описания задачи для каждого семпла. Первый шаг в обучении своей модели можно будет сделать с помощью датасета, который мы специально собрали для этих целей.

Выход задачи предполагает JSON-файл определённого формата, который будет формироваться на платформе, и далее будут рассчитаны все метрики по 12 подзадачам. Итоговая оценка мультизадачной модели складывается из значений метрик качества по отдельным подзадачам, при этом скрытые задачи имеют более высокий коэффициент.

AI4Talk

В этом треке представлена задача по распознаванию речи и автоматическому переводу языков малых народов России, которая разработана Институтом искусственного интеллекта AIRI. Участникам предстоит построить системы распознавания речи, а в рамках специальной номинации — системы автоматического перевода с этих языков.

В отличие от соревнований по распознаванию речи для распространённых языков, таких как русский, мы ждём от моделей не верно угаданных слов, а верно угаданных звуков; незначительные отступы от ожидаемой транскрипции при этом слабо штрафуются. Задачу же перевода мы предлагаем в классической постановке, оценивая модели по метрике BLEU.

Требуется разработать алгоритм, выдающий текстовую запись (в МФА — международном фонетическом алфавите), которая соответствует речи, звучащей на указанном звуковом файле в течение указанного промежутка времени. Файлы содержат речь на разных языках, часто в одном файле есть как русская речь, так и речь на другом языке России, — эта информация может помочь в решении задачи.

Решение должно быть реализовано в виде программы, которая принимает на вход CSV-файл определённого формата. На выходе необходимо сформировать таблицу, содержащую все строки записи исходной таблицы, с добавленной колонкой transcription. В ячейках колонки transcription должны находиться строковые значения, записанные в IPA (МФА), представляющие распознанную в указанном файле речь.

AI4Biology

В данном треке предлагается решить биоинформатическую задачу, разработанную Институтом искусственного интеллекта AIRI совместно с НИЦЭМ им. Н. Ф. Гамалеи. Участникам нужно написать алгоритм идентификации бактерий по масс-спектрам. Идентификация бактерий широко востребована в диагностике заболеваний, лечении инфекций и экологических исследованиях. Наиболее распространён метод MALDI-TOF (matrix assisted laser desorption ionization-time of flight mass spectrometry) масс-спектрометрии, результатом которого являются спектры белков, позволяющих охарактеризовать бактерию. Сложность заключается в том, что одна и та же бактерия, проанализированная в разных экспериментах, будет иметь некоторые различия в полученных масс-спектрах.

В рамках конкурса предлагается разработать модель, которая будет классифицировать по масс-спектрам уже известные бактерии с точностью до штамма, а также определять новые штаммы.

В качестве обучающей выборки предоставляются масс-спектры, полученные для трёх видов бактерий (Acinetobacter baumannii, Pseudomonas aeruginosa, Staphilococcus aureus), охарактеризованных с точностью до штамма. Каждый штамм при этом представлен несколькими бактериями. Результаты масс-спектрометрического анализа формируются следующими полями: масса к заряду (m/z), время (time), интенсивность пика (Intens.), разрешение (Res.), площадь пика (Area), относительная интенсивность (Rel. Intens.), ширина на полувысоте (FWHM=full width at half-maximum intensity).

Решение должно быть реализовано в виде программы, которая на вход принимает JSON-файл, а на выходе выдаёт CSV-файл с одним столбцом `class_name`. Столбец `class_name` должен содержать предсказанное название штамма или метку 'new' для предположительно новых штаммов. 

AI4Sea

В этом году на соревновании представлена ещё одна задача в сфере AI for Good, в рамках которой нужно разработать алгоритм, восстанавливающий значения объёмов вылова рыбы на Дальнем Востоке за период до 2020 года. Задача подготовлена командой Sber AI при участии Тихоокеанского филиала ФГБНУ «ВНИРО» («ТИНРО»).

Сегодня прогноз по добыче рыбы на Дальнем Востоке производится с большой долей неопределённости, что может грозить истощением морских ресурсов в будущем. Опасность данной ситуации, помимо экологической угрозы, состоит ещё и в том, что рыбная отрасль играет ключевую роль в экономике Дальнего Востока. От возможности предсказать будущие уловы зависит благосостояние региона в целом, в том числе уровень безработицы, размеры налоговых отчислений, инфраструктурное развитие.

К сожалению, сегодня невозможно делать достаточно достоверные прогнозы по вылову минтая, поскольку отсутствуют точные данные по реальным объёмам вылова до 2020 года. Восстановить эту информацию по агрегированным данным и предстоит в ходе решения задачи AI4Sea.

Участникам предлагается разработать алгоритм, который на каждую дату периода 2009–2020 годов выдавал бы значения, соответствующие улову минтая в тоннах на эту дату для каждой записи судового журнала.

Важно учитывать, что траления делятся на научные и промысловые. Научные траления делаются равномерно по определённой траектории с целью определить местонахождение рыбы. Промысловые траления производятся в тех местах, где акустические съёмки показывают наибольшее количество рыбы.

Решение должно быть реализовано в виде программы, которая принимает на вход CSV-файл определённого формата. На выходе необходимо сформировать таблицу, где для каждой записи судового журнала будет предсказан улов минтая (0 либо числовое значение в тоннах) в зависимости от того, производило ли судно траление в данный момент времени.

Зачем участвовать

Ознакомиться с полными условиями конкурса, а также зарегистрироваться можно на сайте AI Journey Contest. Решения принимаются до 11 ноября, соревнование пройдёт на платформе DS Works, участвовать могут лица старше 18 лет.

DS Works — это российский аналог Kaggle, соревновательная платформа для дата-сайентистов, где можно обмениваться опытом, прокачивать свои навыки, делиться данными, участвовать в чемпионатах и получать предложения о работе. А ещё это единственное место в России, где каждый имеет возможность обучить свою ML модель на суперкомпьютере, ведь под чемпионаты выделена часть мощностей суперкомпьютеров Christofari и Christofari Neo.

Что даёт участие? Всем — решение интересных задач как драйвер для профессионального роста, мощную прокачку знаний и навыков в невероятно перспективной индустрии, полезный нетворкинг. А авторам лучших решений — ещё и отличные денежные призы. Так что вперёд!