Modelo lineal

En estadística, el término modelo lineal es usado en diferentes maneras de acuerdo al contexto. La manera más frecuente es en conexión con modelos de regresión y el término a menudo se toma como un sinónimo del modelo de regresión lineal. Sin embargo, el término es también usado en análisis de series de tiempo con un significado diferente. En cada caso, la denominación como "lineal" es usada para identificar una subclase de modelos para los cuales la reducción en complejidad de la teoría estadística relacionada es posible.

Para el caso de regresión, el modelo estadístico es como sigue: un modelo lineal predice el valor de una variable a través de otras que llamaremos factores mediante una función lineal de estos.^[1]​ Estos factores están determinados por el escenario donde observamos la variable a predecir, a la cual llamaremos variable endógena. Dada una muestra (aleatoria) ${displaystyle (Y_{i},X_{i1},ldots ,X_{ip}),,i=1,ldots ,n}$ la relación entre las observaciones Y_i y las variables independientes X_ij se fórmula como

donde ${displaystyle phi _{1},ldots ,phi _{p}}$ pueden ser funciones no lineales. En la ecuación anterior, las cantidades ε_i son variables aleatorias representando errores en la relación. La parte "lineal" se refiere a la apariencia de los coeficientes de regresión, β_j en esta ecuación. Alternativamente, se puede decir que los valores ajustados correspondientes al anterior modelo, notados

son funciones lineales de los β_j.

Dado que la estimación se toma en la base de un análisis de mínimos cuadrados, las estimaciones de los parámetros desconocidos β_j se determinan al minimizar una función de suma de cuadrados

Por lo tanto, se puede ver que el aspecto "lineal" del modelo implica lo siguiente:

Los modelos lineales sirven para estimar modelos polinomiales. Por ejemplo, si las potencias de una variable explican la variable endógena, el modelo sería:

${displaystyle Y=eta _{0}+eta _{1}X+eta _{2}X^{2}+cdots +eta _{n}X^{n}+varepsilon }$

También podemos recurrir a los modelos lineales para estimar modelos multinomiales. Un ejemplo es el siguiente:

${displaystyle Y=eta _{0}+eta _{1}X+eta _{2}Y+eta _{3}X^{2}+eta _{4}XY+eta _{5}Y^{2}+varepsilon }$

Para estimar el modelo, tenemos que observar el valor de la variable dependiente y de los factores en ${displaystyle m}$ casos. En este caso, las ecuaciones serán:

${displaystyle left{{egin{matrix}y_{1}=eta _{0}+eta _{1}x_{11}+eta _{2}x_{12}+...+eta _{n}x_{1m}+varepsilon _{1}\y_{2}=eta _{0}+eta _{1}x_{21}+eta _{2}x_{22}+...+eta _{n}x_{2m}+varepsilon _{2}\vdots \y_{n}=eta _{0}+eta _{1}x_{n1}+eta _{2}x_{n2}+...+eta _{n}x_{nm}+varepsilon _{n}end{matrix}} ight.}$

Este sistema de ecuaciones admite la siguiente expresión vectorial:

${displaystyle mathbf {Y} =mathbf {X} {oldsymbol {eta }}+{oldsymbol {varepsilon }}}$

Los símbolos que aparecen en este modelo vectorial representan lo siguiente:

${displaystyle mathbf {Y} =;{egin{bmatrix}y_{1}\y_{2}\vdots \y_{n}end{bmatrix}}quad mathbf {X} =;{egin{bmatrix}1&x_{1,1}&x_{1,2}&...&x_{1,m}\1&x_{2,1}&x_{2,2}&...&x_{2,m}\vdots &vdots &vdots &ddots &vdots \1&x_{n,1}&x_{n,2}&...&x_{n,m}end{bmatrix}}quad {oldsymbol {eta }}=;{egin{bmatrix}eta _{0}\eta _{1}\vdots \eta _{m}end{bmatrix}}quad {oldsymbol {varepsilon }}=;{egin{bmatrix}varepsilon _{1}\varepsilon _{2}\vdots \varepsilon _{n}end{bmatrix}}}$

El vector de errores cometido por el modelo viene dado por:

${displaystyle {oldsymbol {varepsilon }}=mathbf {Y} -mathbf {X} {oldsymbol {eta }}}$

El estimador mínimo cuadrático es aquel que hace mínima la suma de los cuadrados de estos errores. Esta suma es:

${displaystyle S({oldsymbol {hat {eta }}})=sum _{i=1}^{n}varepsilon _{i}^{2}={oldsymbol {varepsilon }}'{oldsymbol {varepsilon }}=(mathbf {Y} -mathbf {X} {oldsymbol {hat {eta }}})^{T}(mathbf {Y} -mathbf {X} {oldsymbol {hat {eta }}})}$

Observemos que no hemos establecido ninguna restricción para el valor de ${displaystyle {oldsymbol {eta }}}$. Estamos pues ante un problema de optimización sin restricciones. Los cálculos llevan a las llamadas ecuaciones normales que tiene que verificar el valor de ${displaystyle mathbf {eta } }$ que hace mínima la suma de los cuadrados de los errores.

${displaystyle mathbf {X} ^{T}mathbf {X} {oldsymbol {hat {eta }}}=mathbf {X} ^{T}mathbf {Y} }$

El estimador mínimo-cuadrático para ${displaystyle mathbf {eta } }$ resulta ser:

${displaystyle {{oldsymbol {hat {eta }}}=(mathbf {X} ^{T}mathbf {X} )^{-1}mathbf {X} ^{T}mathbf {Y} }}$

El Teorema de Gauss-Márkov nos informa sobre la eficacia de este estimador.

Si los errores -que son variables aleatorias- son insesgados ${displaystyle E({oldsymbol {varepsilon }})=mathbf {0} }$, el estimador mínimo-cuadrático también lo es:

${displaystyle E({oldsymbol {hat {eta }}})=E((mathbf {X} 'mathbf {X} )^{-1}mathbf {X} '(mathbf {X} {oldsymbol {eta }}+{oldsymbol {varepsilon }}))={oldsymbol {eta }}+E((mathbf {X} 'mathbf {X} )^{-1})X'{oldsymbol {varepsilon }})={oldsymbol {eta }}}$

Es importante que incluyamos en el modelo todos los factores relevantes: si falta alguno, es posible que los errores no tengan media cero y el estimador de los coeficientes será sesgado. No obstante, cualquier buen modelo lineal ayuda a comprender un fenómeno y a hacer buenas estimaciones. Si incluimos factores de influencia dudosa, también podemos provocar un sesgo en el estimador mínimo-cuadrático. Desde hace muchos años, existe una teoría de inferencia en modelos lineales que nos permite decidir -con un pequeño margen de error- si un factor es o no relevante.

Los errores cometidos por el modelo cuando se usa el verdadero valor del parámetro son ${displaystyle {oldsymbol {varepsilon }}=mathbf {Y} -mathbf {X} {oldsymbol {eta }}}$. No obstante, nosotros no conocemos el verdadero valor del parámetro ${displaystyle mathbf {eta } }$, sino sólo su estimación ${displaystyle mathbf {hat {eta }} }$ y esto provoca que no manejemos los verdaderos errores cometidos, sino su estimación, a la que llamaremos residuos y que vienen dados por:

${displaystyle {oldsymbol {hat {varepsilon }}}=mathbf {y} -mathbf {X} {oldsymbol {hat {eta }}}}$

En nuestros cálculos, tampoco manejaremos la suma de los cuadrados de los errores, sino la suma de los cuadrados de los residuos:

${displaystyle SCR=sum _{i=1}^{n}{hat {varepsilon _{i}}}^{2}={oldsymbol {hat {varepsilon }}}'{oldsymbol {hat {varepsilon }}}=(mathbf {y} -mathbf {X} {oldsymbol {hat {eta }}})'(mathbf {y} -mathbf {X} {oldsymbol {hat {eta }}})}$

Se dice que los errores son homocedásticos cuando:

${displaystyle exists sigma ^{2}quad forall iquad E(varepsilon _{i}^{2})=sigma ^{2}}$

Si el error presenta una varianza distinta en cada caso, hablamos de heterocedasticidad.

Un ejemplo de modelo lineal en series temporales es el Modelo autorregresivo de media móvil, en el que los valores {X_t} de la serie pueden representarse de la forma

donde, de nuevo, las cantidades ε_t son variables aleatorias que representan las innovaciones o nuevos efectos aleatorios que aparecen en un instante determinado pero solo afectan a X en lo sucesivo de la serie. En este contexto, el término modelo lineal se refiere a la estructura de la relación que representa a X_t como una función lineal de los valores anteriores de la misma serie de tiempo y de innovaciones en el mismo instante e instantes pasados.^[2]​ Este aspecto particular de la estructura indica que hay una manera simple de encontrar relaciones para la media y las propiedades de covarianza de las series. Note que la parte "lineal" del término "modelo lineal" no se refiere a los coeficientes φ_i y θ_i, como era el caso en el modelo de regresión, pero se ve estructuralmente similar.

Hay otras instancias donde los "modelos no lineales" son usados en contraste con un modelo estructuralmente lineal, aunque el término "modelo lineal" no sea particularmente usado. Un ejemplo de esto es la "reducción de dimensionalidad no lineal".