16.6. Ajuste por mínimos cuadrados

Mínimos cuadrados es una técnica de Análisis numérico encuadrada dentro de la optimización matemática, en la que, dados un conjunto de pares (o ternas, etc), se intenta encontrar la función que mejor se aproxime a los datos (un "mejor ajuste"), de acuerdo con el criterio de mínimo error cuadrático.

En su forma más simple, intenta minimizar la suma de cuadrados de las diferencias ordenadas (llamadas residuos) entre los puntos generados por la función y los correspondientes en los datos. Específicamente, se llama mínimos cuadrados promedio (LMS) cuando el número de datos medidos es 1 y se usa el método de descenso por gradiente para minimizar el residuo cuadrado. Se puede demostrar que LMS minimiza el residuo cuadrado esperado, con el mínimo de operaciones (por iteración), pero requiere un gran número de iteraciones para converger.

Desde un punto de vista estadístico, un requisito implícito para que funcione el método de mínimos cuadrados es que los errores de cada medida estén distribuidos de forma aleatoria. El teorema de Gauss-Márkov prueba que los estimadores mínimos cuadráticos carecen de sesgo y que el muestreo de datos no tiene que ajustarse, por ejemplo, a una distribución normal. También es importante que los datos recogidos estén bien escogidos, para que permitan visibilidad en las variables que han de ser resueltas (para dar más peso a un dato en particular).

Este método consiste en sumar el cuadrado de todas las distancias de los valores y_i al modelo ideal f(x) y encontrar la función que minimiza el error cuadrático definido por

Dependiendo del modelo f que uno quiera analizar da lugar a varios casos del método de mínimos cuadrados. Tenemos así los siguientes casos:

Caso I. f(x) = ax + b. Observemos que en este caso vamos a buscar funciones en el subespacio generado por las funciones {1, x}. La idea es encontrar la pareja (a; b) tales que minimice la función

Caso II. f(t) = Ce^kt. Ajuste de tipo exponencial.

Caso III. f(x) = ax^r. Ajuste de tipo polinomial.

Caso IV. f(x) = ax² + bx + c. Ajuste de tipo cuadrático. Observemos que en este caso vamos a buscar funciones en el subespacio generado por las funciones {1, x, x²}. Observe también que este caso tenemos que minimizar una función que depende de 3 variables. Claramente