Covarianza

En probabilidad y estadística, la covarianza es un valor que indica el grado de variación conjunta de dos variables aleatorias respecto a sus medias. Es el dato básico para determinar si existe una dependencia entre ambas variables y además es el dato necesario para estimar otros parámetros básicos, como el coeficiente de correlación lineal o la recta de regresión.

Cuando los valores altos de una de las variables suelen mayoritariamente corresponderse con los valores altos de la otra, y lo mismo se verifica para los pequeños valores de una con los de la otra, se corrobora que tienden a mostrar comportamiento similar lo que se refleja en un valor positivo de la covarianza^[1]​
Por el contrario, cuando los valores altos de una variable suelen corresponder mayoritariamente a los menores valores de la otra, expresando un comportamiento opuesto, la covarianza es negativa.

El signo de la covarianza, por lo tanto, expresa la tendencia en la relación lineal entre las variables.
La magnitud requiere un esfuerzo adicional de interpretación:
La versión normalizada de la covarianza, el coeficiente de correlación indica la magnitud de la especificidad de la relación lineal.

Se debe distinguir entre:
(1) la covarianza de dos variables aleatorias, parámetro estadístico de una población considerado una propiedad de la distribución conjunta y
(2) la covarianza muestral que se emplea como un valor estadísticamente estimado es una de las principales causas o motivos de la covarianza.

La covarianza entre dos variables aleatorias ${displaystyle X}$ y ${displaystyle Y}$ se define como

siempre que ${displaystyle operatorname {E} [X]}$, ${displaystyle operatorname {E} [Y]}$ y ${displaystyle operatorname {E} [XY]<infty }$, donde ${displaystyle operatorname {E} [X]}$, ${displaystyle operatorname {E} [Y]}$ y ${displaystyle operatorname {E} [XY]}$ denota los valores esperados de las variables aleatorias ${displaystyle X}$, ${displaystyle Y}$ y ${displaystyle XY}$ respectivamente. Como la esperanza es un operador lineal entonces la expresión anterior se puede escribir de otra forma

Si las variables aleatorias ${displaystyle X}$ y ${displaystyle Y}$ pueden tomar los valores ${displaystyle x_{i}}$ y ${displaystyle y_{i}}$ para ${displaystyle i=1,2,dots ,n}$ con probabilidad ${displaystyle operatorname {P} [X=x_{i}]=1/n}$ y ${displaystyle operatorname {P} [Y=y_{i}]=1/n}$ respectivamente entonces la covarianza puede ser expresada en términos de ${displaystyle operatorname {E} [X]}$ y ${displaystyle operatorname {E} [Y]}$ como

o expresadas como

Si ${displaystyle {mathbf {X}}}$ es un vector aleatorio de dimensión ${displaystyle n}$, es decir, ${displaystyle {mathbf {X}}=(X_{1},ldots ,X_{n})^{t}}$ donde ${displaystyle X_{i}}$ para ${displaystyle i=1,2,dots ,n}$ son variables aleatorias, la matriz de covarianza, denotada por ${displaystyle Sigma }$, está dada por

es decir, la ${displaystyle (i,j)}$-ésima entrada de ${displaystyle Sigma }$ corresponde a la covarianza entre ${displaystyle X_{i}}$ y ${displaystyle X_{j}}$ que puede ser representada como

en particular, cuando ${displaystyle i=j}$, entonces

por lo que la matriz ${displaystyle Sigma }$ puede ser escrita como

La varianza es un caso particular de la covarianza cuando dos variables aleatorias son idénticas

Sean ${displaystyle X}$, ${displaystyle Y}$, ${displaystyle W}$ y ${displaystyle V}$ variables aleatorias y ${displaystyle a,b,c,din mathbb {R} }$ entonces

Estas propiedades se deducen de manera casi directa de la definición de la covarianza.

Para una secuencia ${displaystyle X_{1},X_{2},dots ,X_{n}}$ de variables aleatorias y para valores ${displaystyle a_{1},a_{2},dots ,a_{n}in mathbb {R} }$ se tiene

A las variables aleatorias cuya covarianza es cero se dicen que son no correlacionadas.

Si ${displaystyle X}$ e ${displaystyle Y}$ son variables aleatorias independientes entonces su covarianza es cero, esto es

esto ocurre por la propiedad de independencia

entonces reemplazando en la fórmula de la covarianza se obtiene

Lo opuesto, sin embargo, generalmente no es cierto: algunos pares de variables aleatorias tienen covarianza cero pese a que no son independientes. Bajo algunas hipótesis adicionales, la covarianza de valor cero implica independencia, como por ejemplo en el caso de la distribución normal multivariante.

La mayoría de las propiedades de la covarianza se deducen de las del producto escalar:

De hecho, la covarianza es un producto interior sobre el espacio cociente de las variables aleatorias de momentos finitos iguales salvo constante.

Si ${displaystyle X}$ y ${displaystyle Y}$ son variables aleatorias que toman los valores ${displaystyle x_{i}}$ y ${displaystyle y_{i}}$ para ${displaystyle i=1,2,dots ,n}$ entonces se puede estimar la covarianza entre ${displaystyle X}$ y ${displaystyle Y}$, este estimador denotado por ${displaystyle S_{xy}}$ se define como

donde

denotan la media muestral.

El estimador ${displaystyle S_{xy}}$ tiene la propiedad de que es un estimador insesgado.