Что такое few-shot learning (обучение, FSL)? Чем оно отличается от традиционной процедуры обучения с учителем?
Few-shot обучение представляет собой особый вид обучения с учителем для небольших тренировочных датасетов с очень низким отношением количества примеров на класс. В традиционном обучении с учителем модель тренируется, пробегаясь по тренировочному сету, при этом она всегда видит один и тот же фиксированный набор классов. В few-shot обучении мы работаем с опорным множеством, из которого формируем несколько тренировочных заданий. Из этих заданий мы собираем тренировочные эпизоды, где каждое тренировочное задание состоит из различных классов.
Датасеты и терминология
В процессе обучения с учителем мы обучаем модель на тренировочном сете и оцениваем ее работу на тестовом сете. Как правило, тренировочный сет содержит относительно большое число примеров каждого класса. Например, в контексте обучения с учителем датасет "Ирисы Фишера", состоящий из 50 примеров каждого класса, считается небольшим. В то же время, для моделей глубинного обучения даже такой датасет как MNIST, который содержит 5,000 тренировочных примеров каждого класса, считается очень маленьким.
Во few-shot обучении количество примеров на класс гораздо меньше. Когда мы обозначаем few-shot задачу обучения, мы обычно используем термин 
, где N обозначает количество классов, а K обозначает количество примеров на класс. Наиболее распространёнными конфигурациями задач являются 
или 
. Так, например, в задаче 
будет использоваться 5 различных классов с всего лишь одним примером на каждый. Рисунок 1.1 демонстрирует комбинацию 
, чтобы проиллюстрировать эту концепцию с примером поменьше.
В процессе few-shot обучения модель не просто адаптируется к тренировочному сету, а скорее "учится учиться". В отличие от традиционного обучения с учителем, few-shot обучение использует опорный сет вместо тренировочного. Из этого опорного сета затем выбираются тренировочные задания, которые имитируют реальные ситуации, с которыми модель может столкнуться во время прогнозирования. Каждое тренировочное задание сопровождается изображением-запросом, которое необходимо классифицировать. Модель тренируется на нескольких таких заданиях из опорного сета. Такой набор тренировочных заданий называется эпизодом.
Далее, во время валидации, модель сталкивается с новым набором классов, отличными от тех, которые она видела в процессе обучения. Классы, использованные для обучения, также называются базовыми классами, а опорный сет во время обучения часто называется базовым сетом. Задача модели - классифицировать изображения-запросы. Тестовые задачи схожи с тренировочными, за исключением того, что классы представленные во время валидации, не пересекаются с базовыми, как показано на Рисунке 1.2.
Как показано на Рисунке 1.2, во время обучения опорный сет и сет запросов содержат изображения одного и того же класса, но в разных вариациях. То же самое верно и для валидации. Однако, стоит заметить, что классы из опорного сета и сета запросов на этапе валидации отличаются от тех, которые были представлены во время обучения.
Существует множество разных подходов к few-shot обучению. Наиболее популярным является мета-обучение, при котором модель обучается путем обновления своих параметров таким образом, чтобы она могла успешно адаптироваться к новой задаче. Верхнеуровнево, одной из стратегий few-shot обучения может быть обучение модели, которая генерирует такие эмбеддинги, где мы можем легко найти целевой класс с помощью алгоритма ближайших соседей среди изображений в опорном сете. Рисунок 1.3 демонстрирует этот подход.
Модель учится генерировать хорошие эмбеддинги из опорного сета для классификации изображения-запроса за счет поиска наиболее похожего вектора-эмбеддинга.