Регрессионный анализ. Метод наименьших квадратов

Одной из часто встречающихся задач при обработке результатов эксперимента является подбор формулы для установления функциональной зависимости между экспериментальными данными, так называемого уравнения регрессии . Прежде чем приступить к подбору формулы, целесообразно нанести опытные данные на график и на глаз, от руки провести через полученные точки наиболее правдоподобную кривую. Очень часто общий вид кривой бывает известен из других соображений, что упрощает задачу, сводя ее к поиску числовых коэффициентов известной функциональной зависимости общего вида (например, прямолинейной, квадратичной, логарифмической и др.). При этом часто становятся видны те опытные данные, которые скорее всего содержат наибольшие погрешности. Кроме полученных экспериментальных точек существенным моментом при проведении кривой являются соображения общего характера: как ведет себя кривая вблизи нуля, пересекает ли она координатные оси, касается ли их, имеет ли асимптоты и т.д.

После того, как эта предварительная работа проделана, начинается собственно подбор формулы – уравнения регрессии. Решением задач, связанных с поиском уравнений регрессии занимается регрессионный анализ , а одним из его наиболее широко применяемых на практике алгоритмов является метод наименьших квадратов [ 3, 5, 6, 7].

В общем случае задача метода наименьших квадратов формулируется следующим образом. Пусть искомая функциональная зависимость величины у от величины х выражается формулой:

(1)

где заданные функции, искомые параметры – коэффициенты уравнения (1). Предполагается, что значения аргумента х установлены точно, а соответствующие значения функции у определены в эксперименте с некоторой погрешностью. Если бы измерения производились без ошибок, то для определения параметров потребовалось бы ровно т +1  измерений. Но из-за ошибок эксперимента разные серии из т +1  измерений будут давать различные значения параметров . Поэтому количество проводимых измерений должно быть гораздо бо’льшим, чем число т определяемых параметров, для уменьшения влияния ошибок  эксперимента за счет использования избыточной информации и получения наилучших в некотором смысле оценок определяемых параметров.
Итак, для получения оценок параметров проводят n экспериментов, результаты которых дают значения не этих параметров, а некоторой функции (1), зависящей от них линейно.

Метод наименьших квадратов состоит в том, что оценки параметров формулы (1) определяются из условия: сумма квадратов отклонений

(2)

достигает наименьшего значения .

Для определения этих оценок нужно продифференцировать (2) по всем оценкам , приравнять все производные нулю и решить полученную линейную систему из т +1 уравнений относительно т +1 неизвестных оценок параметров :

(3)

Система уравнений (3) называется системой нормальных уравнений Гаусса . Здесь для краткости записи приняты следующие обозначения сумм:

(4)

Следует отметить, что система уравнений (3) иногда оказывается плохо обусловленной , т.е. ее решения весьма чувствительны к малейшим изменениям в результатах измерений. Для плохо обусловленных систем в настоящее время разработаны специальные методы, например, метод регуляризации .