Часть 2

Часть 1 — здесь.
Большое спасибо читателям за положительные отзывы.

Обучение

Ну вот, всё готово! Теперь можно начинать. Начинать обучать нейросеть, а потом пожинать плоды этого её обучения. Так думается поначалу, по неопытности… Но вернёмся к теории. К устройству нейрона. Есть дендриты, есть тело нейрона, есть аксон. По дендритам мы передаём входные сигналы (рост и вес), которые имеют свои веса W1 и W2, есть тело нейрона (активационная функция) и есть аксон(выход).



Какую функцию взять в качестве активационной? — Мой выбор пал на сигмойду (хотя, конечно, возможны другие варианты выбора активационной функции).



Первая проблема, с которой я столкнулся – сигмоида даёт слишком «маленький» отклик, уровень сигнала, не превышающий единицу, а значения ИМТ – не то что единицы, десятки! Но эта проблема решается достаточно легко – вводом коэффициента масштабирования. Я взял коэффициент 1/100.



Следующая проблема – сигмойда выдаёт значения от -0,5 до 0,5, а у меня в ИМТ отрицательных значений нет. Тоже решается достаточно просто – подвинем график по оси абсцисс влево с помощью ввода константы в функцию (то есть, чтобы X, равное нулю, давало Y, равное «0», а не «0,5»).



В итоге, для работы нашего искусственного нейрона имеем такой математический аппарат:

X = X1 * W1 + X2 * W2
Y = sigm(X) – 0.5

Где,
sigm – это сигмодальная функция:



Теперь переходим к обучению. — Берём функцию обратного распространения ошибки и … — И где её взять-то?! Кроме неясных «финтов ушами» в многочисленных статьях под рубрикой: «О, да нейросети – это просто! Как два пальца об асфальт!» никакой полезной инфы там не наблюдалось. Стало ясно, что необходима книга. Нормальная такая «человеческая» книга, где автор, без лишних «загибов пальцев», идёт от «простого к сложному» в построении нейросети и объясняет всё обстоятельно. И такая книга была найдена. Это книга Тарика Рашида «Создаём нейронную сеть».



Дня два-три я внимательно её изучал в поисках ответа на вопрос: «Какова же формула корректировки весов при обратном распространении ошибки?!», попутно проверяя правильность своих построений сверяясь с построениями Тарика. Тарик взял классический вариант использования нейросетей – «распознавание символов» и строил свою сеть для решения этой задачи (сеть у него двухслойная). Программный код в этой книге написан на языке Python, поэтому мне пришлось бегло изучить этот язык для того, чтобы понимать реализацию (я решил оставить добротное освоение Питона «на потом», так как это не только язык, но и среда разработки и инструментарий).

Шаг за шагом, постепенно я дошёл до главы, в которой производилась оценка ошибки и её корректировка. Метод вычисления корректирующих значений весов использует т.н. метод «градиентного спуска», использующий аппарат дифференциального исчисления (да-да, нейросети — это вам «не баран чихнул», это умные люди придумали).

Важное замечание: веса W1, W2 … Wn корректируются настолько, насколько они вносят свой вклад в ошибку. То есть:

Wновое = Wстарое — (dW * Wстарое)

dW – это вычисленная «общая» коррекция весов, которая затем распределяется по каждому весу.

В книге была приведена формула корректировки весовых коэффициентов для двухслойной сети, я адаптировал её для однослойной. Я не стану приводить эту формулу здесь, в статье, по сути дела, это и есть та самая «золотая монета» и сердце всего метода, без которого всякие разговоры о нейросетях превращаются в пустой трёп и дешёвый популизм интернетных статеек, рассказывающих о том, как быстро «освоить» нейросети и за полчаса стать в них «специалистом». Согласитесь, лучше, всё-таки, «быть», чем «казаться». Поэтому, если вы действительно интересуетесь нейронными сетями, рекомендую вам изучить эту книгу.



Ух! — Теперь можно стереть пот со лба и приступить к фактическому обучению и тестированию сети… Правда, ещё понадобится небольшой инструментарий по оценке качества её работы, но об этом я расскажу в 3 части статьи.

Конец второй части.