Построение модели и сведение обучения к задаче оптимизации

В параграфе 4.1 давалось определение модели как элемента параметрического семейства алгоритмов машинного обучения А = {а (х, 0) 10 G 0}. Параметры алгоритма — это как раз те неизвестные переменные 0, значения которых необходимо найти по известной обучающей выборке. При этом значения параметров должны быть подобраны таким образом, чтобы удовлетворять требованиям, предъявляемым к модели:

1) модель должна максимально приближаться к обучающей выборке, т. е. в идеале удовлетворять условию.

2) модель должна предсказывать значения у'(х), не входящие в обучающую выборку.

Процесс выбора параметров для модели и называется процессом ее построения. Возникает вопрос — как выбрать эти параметры? Очевидно, если стоит требование к модели максимально точно соответствовать в ответах обучающей выборке, то необходимо придумать некоторый функционал качества, который бы показывал эту степень соответствия.

В общем случае для построения этого функционала необходимо определить так называемую функцию потерь (cost function) — функцию, задающую некоторый штраф за неправильный ответ для одного конкретного примера. Простейшие функции потерь для регрессии и классификации:

Для классификатора — это индикатор ошибки, а для регрессии — квадратичная ошибка. После определения функции потерь можно записать один из наиболее очевидных методов определения ошибки на выборке — функционал эмпирического риска:

где L — размер обучающей выборки.

Наконец, чтобы модель по требованию наиболее точно соответствовала обучающей выборке, необходимо определить метод обучения для этой модели с использованием функционала эмпирического риска:

Метод обучения, заключающийся в минимизации функционала эмпирического риска на обучающей выборке по переменной а, т. е.

по всему множеству алгоритмов (параметров), называется каноническим методом обучения. Таким образом, мы свели задачу машинного обучения в общем виде к задаче математического программирования. Подставляя, например, в данный метод в эмпирический риск функцию квадратичной ошибки, мы получим метод наименьших квадратов.

Однако при использовании канонического метода обучения можно столкнуться с так называемым эффектом переобучения, который будет описан далее.