Машинное обучение для абсолютных новичков

Мы оставили позади то полное надежд и опасений время, когда за нейросетями и ИИ было будущее: теперь за ними уже настоящее, а машинное обучение, то есть построение обучаемых моделей, востребованный профессиональный навык в среде IT. 

Наиболее важным во всей этой теме для многих окажется то, что машинное обучение — быстро растущий рынок труда, где предложение не удовлетворяет спрос, а нехватка квалифицированных кадров одно из основных препятствий, мешающих развитию ИИ. Это поезд, на который еще можно успеть запрыгнуть, так что давайте попробуем разобраться в тематике и сегодня начнем с фундаментального понятия: с категорий машинного обучения, которые различаются по способу обращения с входными и выходными переменными.

Контролируемое обучение

Контролируемое обучение (или обучение с учителем) имитирует человеческую способность выявлять закономерности в известных примерах и использовать эти знания для получения воспроизводимых результатов.  

Модель анализирует и расшифровывает взаимосвязи между входными и выходными данными, чтобы выявить основополагающие закономерности. Входные данные называются независимой переменной (и обозначаются прописной буквой «X»), а выходные данные — зависимой переменной (и обозначаются строчной буквой «y»). Примерами зависимой переменной (y) могут быть координаты прямоугольной рамки окружающей человека на цифровой фотографии (в системе распознавания лиц), цена дома или класс товара. Соответствующими независимыми переменными, которые предположительно влияют на зависимые, могут быть цвета пикселей, размер и расположение дома и технические характеристики автомобиля. В результате анализа достаточного количества примеров машина создает модель — алгоритмическое уравнение для получения выходного сигнала на основе закономерностей, выявленных при изучении примеров комбинаций входов и выходов. Используя эту модель, машина может предсказать выходной результат, основываясь исключительно на входных данных. 

Неконтролируемое обучение

В случае неконтролируемого обучения (или обучения без учителя) выходные переменные являются немаркированными, а комбинации входных и выходных переменных — неизвестными. Неконтролируемое обучение предполагает анализ взаимосвязей между входными переменными и выявление скрытых закономерностей, которые можно извлечь для создания новых меток, имеющих отношение к возможным выходам. 

Преимущество неконтролируемого обучения заключается в том, что оно позволяет обнаружить в данных еще не известные закономерности, а недостаток в том, что, поскольку набор данных не размечен, отсутствие известных выходных наблюдений не позволяет проверить работу модели, из-за чего ее прогнозы оказываются более субъективными по сравнению с прогнозами модели контролируемого обучения.

Полуконтролируемое обучение

Полуконтролируемое обучение (или обучение с частичным привлечением учителя) представляет собой гибрид контролируемого и неконтролируемого обучения, которое предполагает использование наборов, содержащих как размеченные, так и неразмеченные данные. Учитывая то, что основная мотивация в данном случае заключается в принципе «чем больше данных, тем лучше», цель полуконтролируемого обучения — это использование неразмеченных данных для повышения надежности предсказательной модели.

Обучение с подкреплением

Обучение с подкреплением представляет собой наиболее продвинутую категорию машинного обучения. В отличие от контролируемого и неконтролируемого обучения оно предполагает построение предсказательной модели на основе обратной связи, получаемой в результате случайных проб и ошибок, а также знаний, приобретенных в ходе предыдущих итераций. 

Цель обучения с подкреплением — достижение конкретного выхода путем случайного перебора огромного количества возможных комбинаций входных данных и оценки их эффективности. 

В качестве конкретного алгоритмического примера обучения с подкреплением можно привести так называемое Q-обучение. При использовании этого подхода мы начинаем с заданной среды состояний, обозначаемой буквой «S». В игре Pac-Man состояниями могут быть опасности, препятствия или пути в лабиринте, например: стена слева, призрак справа и таблетка силы вверху. Набор возможных действий, которые игрок может предпринять в ответ на эти состояния, обозначается буквой «A». В Pac-Man этот набор ограничен движениями влево, вправо, вверх и вниз, а также их многочисленными комбинациями. Третий важный символ «Q» представляет собой исходное значение модели, которое изначально равно «0». В процессе исследования пространства игры Pac-Man происходят две основные вещи:

1. Значение Q уменьшается вследствие негативных событий, имеющих место после определенного состояния/действия.

2. Значение Q увеличивается вследствие позитивных событий, имеющих место после определенного состояния/действия. 

В рамках Q-обучения машина учится выбирать для конкретного состояния такое действие, которое позволяет получить или сохранить наивысшее значение Q. Изначально она выполняет случайные движения (действия) в различных условиях (состояниях). Модель фиксирует полученные результаты (поощрения и наказания) и то, как они влияют на значение Q, а затем использует эти сохраненные значения для оптимизации своих дальнейших действий.

Это только вершина айсберга машинного обучения и работы с обучаемыми моделями, но это действительно очень перспективный и интересный выбор предмета для изучения сегодня. Информация в статье взята из книги специалиста в области ИИ и облачных данных Оливера Теобальда «Машинное обучение для абсолютных новичков. Вводный курс, изложенный простым языком», которая отлично подойдет в качестве первой опорной ступени для любого начинающего свой путь в этой дисциплине.