Valore atteso e matrici di covarianza

6. Valore atteso e matrici di covarianza

L'obiettivo principale di questo paragrafo è la trattazione dei valori attesi con argomento vettoriale e le matrici di varianza e covarianza. Tali argomenti sono particolarmente importanti per i modelli statistici multivariati e per la distribuzione normale multivariata. La lettura di qeusto paragrafo presuppone la conoscenza dei fondamenti dell'algebra lineare, a livello di un corso universitario.

Indicheremo con R^m×n lo spazio di tutte le m × n matrici di numeri reali. In particolare, identificheremo Rⁿ con R^n×1, per cui una nupla ordinata può essere pensata come vettore colonna n × 1. La trasposta di una matrice A è indicata come A^T.

Valore atteso di una matrice casuale

Supponi che X sia una matrice m × n di variabili casuali a valori reali, il cui elemento i, j è indicato con X_ij. Equivalentemente, X può essere visto come matrice casuale m × n. Viene naturale definire il valore atteso E(X) come la matrice m × n il cui elemento i, j è E(X_ij), ovvero il valore atteso di X_ij.

Molte delle proprietà più importanti del valore atteso di variabili casuali hanno proprietà omologhe nel caso dei vettori casuali, con le operazioni matriciali al posto di quelle algebriche.

$Esercizio teorico$ 1. Prova che E(X + Y) = E(X) + E(Y) se X e Y sono matrici casuali m × n.

$Esercizio teorico$ 2. Prova che E(AX) = AE(X) se A è una matrice m × n non casuale e X è una matrice casuale n × k.

$Esercizio teorico$ 3. Prova che E(XY) = E(X)E(Y) se X è una matrice casuale m × n, Y è una matrice casuale n × k e X e Y sono indipendenti.

Matrici di covarianza

Supponiamo ora che X sia un vettore casuale appartenente a R^m e Y sia un vettore casuale appartenente a Rⁿ. La matrice di covarianza di X e Y è la matrice m × n cov(X, Y) il cui elemento i, j è cov(X_i, Y_j), cioè la covarianza di X_i e Y_j.

$Esercizio teorico$ 4. Mostra che cov(X, Y) = E{[X - E(X)][Y - E(Y)]^T}

$Esercizio teorico$ 5. Mostra che cov(X, Y) = E(XY^T) - E(X)E(Y)^T.

$Esercizio teorico$ 6. Mostra che cov(Y, X) = cov(X, Y)^T.

$Esercizio teorico$ 7. Mostra che cov(X, Y) = 0 se ciascun elemento di X è incorrelato con ciascun elemento di Y (in particolare, se X e Y sono indipendenti).

$Esercizio teorico$ 8. Mostra che cov(X + Y, Z) = cov(X, Z) + cov(Y, Z) se X e Y sono vettori casuali appartenente a R^m e Z è un vettore casuale appartenente a Rⁿ.

$Esercizio teorico$ 9. Mostra che cov(X, Y + Z) = cov(X, Y) + cov(X, Z) se X è un vettore casuale appartenente a R^m e Y, Z sono vettori casuali appartenenti a Rⁿ.

$Esercizio teorico$ 10. Prova che cov(AX, Y) = A cov(X, Y) se X è un vettore casuale appartenente a R^m, Y è un vettore casuale appartenente a Rⁿ e A è una matrice k × m non casuale.

$Esercizio teorico$ 11. Prova che cov(X, AY) = cov(X, Y)A^T se X è un vettore casuale appartenente a R^m, Y è un vettore casuale appartenente a Rⁿ e A è una matrice k × n non casuale.

Matrici di varianza e covarianza

Supponiamo ora che X = (X₁, X₂, ..., X_n) sia un vettore casuale appartenente a Rⁿ. La matrice di covarianza di X con se stessa è detta matrice di varianza e covarianza di X:

VC(X) = cov(X, X).

$Esercizio teorico$ 12. Mostra che VC(X) è una matrice n × n simmetrica con var(X₁), ..., var(X_n) sulla diagonale.

$Esercizio teorico$ 13. Dimostra che VC(X + Y) = VC(X) + cov(X, Y) + cov(Y, X) + VC(X) se X and Y sono vettori casuali appartenenti a Rⁿ.

$Esercizio teorico$ 14. Mostra che VC(AX) = A VC(X) A^T se X è un vettore casuale appartenente a Rⁿ e A è una matrice m × n non casuale.

Se a appartiene a Rⁿ, notiamo che a^TX è combinazione lineare delle coordinate di X:

a^TX = a₁X₁ + a₂X₂ + ··· + a_nX_n.

$Esercizio teorico$ 15. Prova che var(a^TX) = a^T VC(X) a se X è un vettore casuale appartenente a Rⁿ e a appartiene a Rⁿ. Concludiamo quindi che VC(X) è positiva definita o semi positiva definita.

In particolare, gli autovalori e il determinante di VC(X) sono nonnegativi.

$Esercizio teorico$ 16. Prova che VC(X) è semidefinita positiva (ma non positiva definita) se e solo se esistono a₁, a₂, ..., a_n, c in R tali che

a₁X₁ + a₂X₂ + ··· + a_nX_n = c (con probabilità 1).

Pertanto, se VC(X) è semidefinita positiva, allora una delle coordinate di X può essere scritta come trasformazione affine delle altre coordinate (e quindi può di solito essere eliminata nel modello sottostante). Al contrario, se VC(X) è definita positiva, allora ciò non può verificarsi; VC(X) ha autovalori positivi e determinante ed è invertibile.

Esercizi numerici

$Esercizio teorico$ 17. Supponi che (X, Y) abbia funzione di densità f(x, y) = x + y for 0 < x < 1, 0 < y < 1. Trova

E(X, Y)
VC(X, Y).

$Esercizio teorico$ 18. Supponi che (X, Y) abbia funzione di densità f(x, y) = 2(x + y) per 0 < x < y < 1. Trova

E(X, Y)
VC(X, Y).

$Esercizio teorico$ 19. Supponi che (X, Y) abbia funzione di densità f(x, y) = 6x²y per 0 < x < 1, 0 < y < 1. Trova

E(X, Y)
VC(X, Y).

$Esercizio teorico$ 20. Supponi che (X, Y) abbia funzione di densità f(x, y) = 15x²y per 0 < x < y < 1. Trova

E(X, Y)
VC(X, Y).

$Esercizio teorico$ 21. Supponi che (X, Y, Z) sia distribuita uniformemente sulla regione {(x, y, z): 0 < x < y < z < 1}. Trova

E(X, Y, Z)
VC(X, Y, Z)

$Esercizio teorico$ 22. Supponi che X sia distribuita uniformemente su (0, 1), e che, dato X, Y sia distribuita uniformemente su (0, X). Trova

E(X, Y)
VC(X, Y)