Análisis de regresión

En estadística, el análisis de la regresión es un proceso estadístico para estimar las relaciones entre variables. Incluye muchas técnicas para el modelado y análisis de diversas variables, cuando la atención se centra en la relación entre una variable dependiente y una o más variables independientes (o predictoras). Más específicamente, el análisis de regresión ayuda a entender cómo el valor de la variable dependiente varía al cambiar el valor de una de las variables independientes, manteniendo el valor de las otras variables independientes fijas. Más comúnmente, el análisis de regresión estima la esperanza condicional de la variable dependiente dadas las variables independientes - es decir, el valor promedio de la variable dependiente cuando se fijan las variables independientes. Con menor frecuencia, la atención se centra en un cuantil, u otro parámetro de localización de la distribución condicional de la variable dependiente dadas las variables independientes. En todos los casos, el objetivo de la estimación es una función de las variables independientes llamada la función de regresión. En el análisis de regresión, también es de interés caracterizar la variación de la variable dependiente en torno a la función de regresión, la cual puede ser descrita por una distribución de probabilidad.

El análisis de regresión es ampliamente utilizado para la predicción y previsión, donde su uso tiene superposición sustancial en el campo de aprendizaje automático. El análisis de regresión se utiliza también para comprender cuales de las variables independientes están relacionadas con la variable dependiente, y explorar las formas de estas relaciones. En circunstancias limitadas, el análisis de regresión puede utilizarse para inferir relaciones causales entre las variables independientes y dependientes. Sin embargo, esto puede llevar a ilusiones o relaciones falsas, por lo que se recomienda precaución,^[1]​ por ejemplo, la correlación no implica causalidad.

Muchas técnicas han sido desarrolladas para llevar a cabo el análisis de regresión. Métodos familiares tales como la regresión lineal y la regresión por cuadrados mínimos ordinarios son paramétricos, en que la función de regresión se define en términos de un número finito de parámetros desconocidos que se estiman a partir de los datos. La regresión no paramétrica se refiere a las técnicas que permiten que la función de regresión consista en un conjunto específico de funciones, que puede ser de dimensión infinita.

El desempeño de los métodos de análisis de regresión en la práctica depende de la forma del proceso de generación de datos, y cómo se relaciona con el método de regresión que se utiliza. Dado que la forma verdadera del proceso de generación de datos generalmente no se conoce, el análisis de regresión depende a menudo hasta cierto punto de hacer suposiciones acerca de este proceso. Estos supuestos son a veces comprobables si una cantidad suficiente de datos está disponible. Los modelos de regresión para la predicción son frecuentemente útiles aunque los supuestos sean violados moderadamente, aunque no pueden funcionar de manera óptima. Sin embargo, en muchas aplicaciones, sobre todo con pequeños efectos o las cuestiones de causalidad sobre la base de datos observacionales, los métodos de regresión pueden dar resultados engañosos.^[2]​^[3]​

La primera forma de regresión fue el método de mínimos cuadrados, que fue publicado por Legendre en 1805,^[4]​ y por Gauss en 1809.^[5]​ Legendre y Gauss aplicaron el método para el problema de determinar, a partir de observaciones astronómicas, las órbitas de los cuerpos alrededor del Sol (principalmente cometas, pero también más tarde los entonces recién descubiertos planetas menores). Gauss publicó un desarrollo posterior de la teoría de los mínimos cuadrados en 1821,^[6]​ incluyendo una versión del teorema de Gauss-Markov.

El término "regresión" fue acuñado por Francis Galton en el siglo XIX para describir un fenómeno biológico. El fenómeno fue que las alturas de los descendientes de ancestros altos tienden a regresar hacia abajo, hacia un promedio normal (un fenómeno conocido como regresión hacia la media ).^[7]​^[8]​ Para Galton, la regresión sólo tenía este significado biológico,^[9]​^[10]​ pero su trabajo fue extendido más tarde por Udny Yule y Karl Pearson a un contexto estadístico más general.^[11]​^[12]​ En la obra de Yule y Pearson, la distribución conjunta de la variable respuesta y las variables explicativas se supone que es Gaussiana. Esta suposición fue debilitada por Ronald Fisher en sus obras de 1922 y 1925.^[13]​^[14]​^[15]​ Fisher supone que la distribución condicional de la variable respuesta es Gaussiana, pero la distribución conjunta no necesario que lo sea. A este respecto, la asunción de Fisher está más cerca de la formulación de Gauss de 1821.

En los años 1950 y 1960, los economistas utilizaron calculadoras electromecánicas para calcular las regresiones. Antes de 1970, a veces tomaba hasta 24 horas para recibir el resultado de una regresión.^[16]​

Los métodos de regresión siguen siendo un área de investigación activa. En las últimas décadas, nuevos métodos han sido desarrollados para regresión robusta, regresión que implica respuestas correlacionadas, tales como series de tiempo y las curvas de crecimiento, regresión en la que los predictores (variable independiente) o las variables de respuesta son curvas, imágenes, gráficos y otros objetos de datos complejos, métodos de regresión que aceptan varios tipos de datos faltantes, regresión no paramétrica, métodos de regresión bayesianos, regresión en la que las variables predictoras son medidas con error, regresión con más variables predictoras que observaciones y la inferencia causal con regresión.

Este modelo está conformado por dos variables estadísticas llamadas ${displaystyle X}$ y ${displaystyle Y}$. Asumiremos que la variable ${displaystyle Y}$ es influida por la variable ${displaystyle X}$, de esta forma, podemos referirnos a ${displaystyle X}$ y a ${displaystyle Y}$como Variable Independiente o Regresora y Variable Dependiente o Respuesta respectivamente.

Para la Regresión Lineal se asume que ${displaystyle X}$ y ${displaystyle Y}$ se relacionan mediante

donde

Los parámetros ${displaystyle eta _{0}}$ y ${displaystyle eta _{1}}$ son conocidos como coeficientes de regresión y estos pueden ser estimados mediante el método de Mínimos cuadrados o por el método de Máxima verosimilitud.

---