1. Prova che la distribuzione a priori di p dato I è una beta a parametri a + Xn, b + (n - Xn).Laboratorio virtuale > Stima puntuale > 1 2 3 [4] 5 6
Supponiamo di nuovo di avere una variabile casuale osservabile X, per un certo esperimento, che assuma valori in un insieme S. Supponiamo inoltre che la distribuzione di X dipenda da un parametro ignoto a, suscettibile di assumere valori in uno spazio parametrico A. Come in precedenza, indicheremo con f(x | a) la funzione di densità di X in x.
Nell'analisi Bayesiana, si tratta il vettore di parametri a come una variabile casuale con una certa funzione di densità h(a), con a appartenente ad A. La distribuzione corrisponendente è detta distribuzione a priori di a e ha l'obiettivo di raccogliere le informazioni di cui si dispone (se ce ne sono) sul vettore dei parametri, prima di raccogliere i dati.
Si utilizza poi il teorema di Bayes, che prende il nome da Thomas Bayes, per calcolare la funzione di densità condizionata di a dato X = x appartenente a S:
h(a | x) = f(x | a)h(a) / g(x), per a appartenente ad A e x appartenente a S
dove g è la funzione di densità (marginale) di X. Ricorda che per un dato x appartenente a S, g(x) può essere ottenuta integrando (nel caso continuo) o sommando (nel caso discreto) f(x | a)h(a) per gli a appartenenti ad A. Equivalentemente, g(x) è una costante di normalizzazione per f(x | a)h(a) come funzione di a. La distribuzione condizionata di a dato X = x è detta distribuzione a posteriori, ed è una distribuzione aggiornata utilizzando l'informazione contenuta nei dati.
Se a è un parametro reale, il valore atteso condizionato E(a | X) è lo stimatore Bayesiano di a. Ricorda che E(a | X) è funzione di X e, tra tutte le funzioni di X, è la più vicina ad a in media quadratica.
In molti casi speciali, possiamo trovare una famiglia parametrica di distribuzioni con la seguente proprietà: se la distribuzione a priori di a appartiene alla famiglia, allora così è anche per la distribuzione a posteriori di a dato X = x. La famiglia si dice coniugata alla distribuzione di X. Le famiglie coniugate sono molto utili dal punto di vista computazionale, poiché si può spesso calcolare la distribuzione a posteriori attraverso una semplice formula che coinvolge i parametri della famiglia senza dover utilizzare direttamente il teorema di Bayes.
Supponiamo di avere un moneta non bilanciata con probabilità che esca testa p ignota. Lanciamo la moneta n volte e registriamo il vettore degli esiti I = (I1, I2, ..., In). Per un dato p, queste variabili formano un campione casuale estratto dalla distribuzione di Bernoulli a parametro p. Sia Xn = I1 + I2 + ··· + In il numero di teste
Supponiamo ora di assegnare a p distribuzione a priori beta con parametri a e b, dove a e b si scelgono sulla base delle nostre informazioni sulla moneta. Per esempio, se non sappiamo nulla, possiamo porre a = b = 1, cosicché p abbia distribuzione a priori unfiorme su (0, 1). D'altra parte, se crediamo che la moneta sia sbilanciata verso testa con p all'incirca 2 / 3, possiamo porre a = 4 e b = 2 (cosicché il valore atteso della distribuzione a priori risulti 2/3).
1. Prova che la distribuzione a priori di p dato I è una beta a parametri a + Xn, b + (n - Xn).
L'esercizio 1 prova che la distribuzione beta è coniugata alla distribuzione di Bernoulli. Nota inoltre che nella distribuzione a posteriori, il primo parametro della beta è incrementato dal numero di teste, mentre il secondo dal numero di croci.
2. Nell'
esperimento della moneta non bilanciata, poni n = 10, p = 0.7, e a
= b = 1 (distribuzione a priori uniforme). Simula 100 replicazioni e osserva la forma e la posizione della densità a posteriori dopo ogni replicazione.
3. Prova che lo stimatore Bayesiano di p è Un = (Xn + a)
/ (n + a + b).
4. Nell'
esperimento della moneta non bilanciata, poni n = 20, p = 0.3, e a
= 4 e b = 2. Simula 100 replicazioni e osserva la stima di p e la forma e la posizione della densità a posteriori dopo ogni replicazione.
5. Prova che bias(Un
| p) = (a - pa - pb) / (n + a + b)
e quindi Un è asintoticamente corretto.
Osserva che nell'esercizio 3 non possiamo scegliere a e b per avere Un corretto, poiché tale scelta coinvolgerebbe in valore vero di p, che non è noto.
6. Nell'
esperimento della moneta non bilanciata, poni n = 20, p = 0.8, a = 2 e b = 6. Simula 1000 replicazioni aggiornando ogni 10. Osserva la stima di p e la forma e la posizione della funzione di densità a posteriori ad ogni aggiornamento. Osserva la convergenza della distorsione empirica a quella teorica.
7. Dimostra che l'errore quadratico medio di Un è quello che segue, e che quindi Un
è consistente:
MSE(Un | p) = [p(n - 2a2 - 2ab) + p2(-n + a2 + b2 + 2ab) + a2] / (n + a + b)2.
8. Nell'
esperimento della moneta non bilanciata, poni n = 10, p = 0.7, a = 1 e b
= 1. Simula 1000 replicazioni aggiornando ogni 10. Osserva la stima di p e la forma e la posizione della funzione di densità a posteriori ad ogni aggiornamento. Osserva la convergenza dell'errore quadratico medio empirico a quello teorico.
È interessante notare che possiamo scegliere a e b in modo che Un abbia errore quadratico medio indipendente da p:
9. Prova che se a
= b = n1/2 / 2 allora MSE(Un | p)
= n / [4(n + n1/2)2] per ogni p.
10. Nell'
esperimento della moneta non bilanciata, poni n = 36 e a = b =
3. Modifica p e osserva che l'errore quadratico medio non cambia. Con p
= 0.8 simula 1000 replicazioni, aggiornando ogni 10. Osserva la stima di p
e la forma e la posizione della funzione di densità a posteriori ad ogni aggiornamento. Osserva la convergenza della distorsione e dell'errore quadratico medio empirici ai loro valori teorici.
Ricorda che la media campionaria Mn = Xn / n (la proporzione di teste) è sia lo stimatore del metodo dei momenti che quello di massima verosimiglianza per p, ed ha errore quadratico medio MSE(Mn | p) = p(1 - p) / n.
11. Disegna i grafici di MSE(Un | p) dell'esercizio 6 e MSE(Mn
| p), in funzione di p, sullo stesso sistema di assi.
Supponiamo ora che la moneta sia bilanciata o a due teste. Diamo a p la distribuzione a priori che segue, dove abbiamo scelto a appartenente a (0, 1), in modo da rispecchiare le nostre conoscenze a priori sulla probabilità che esca testa.
h(1) = a, h(1 / 2) = 1 - a.
12. Prova che la distribuzione a posteriori di p dato I è la seguente.
Interpreta i risultati.
13. Prova che lo stimatore Bayesiano di p è
Un = pn se Xn = n, Un = 1 / 2 se Xn < n,
dove pn = [a + (1 - a)(1 / 2)n + 1] / [a + (1 - a) (1 / 2)n].
14. Mostra che
15. Mostra che
Supponi che X = (X1, X2, ..., Xn) sia un campione casuale di dimensione n dalla distribuzione di Poisson con parametro a. Supponi inoltre che a abbia distribuzione a priori gamma con parametro di forma k e parametro di scala b. Sia
Yn = X1 + X2 + ··· + Xn.
16. Prova che la distribuzione a posteriori di a dato X è una gamma con parametro di forma k + Yn e parametro di scala b / (nb + 1).
Ne segue che la distribuzione gamma è coniugata alla distribuzione di Poisson.
17. Prova che lo stimatore Bayesiano di a è Vn = (k + Yn)b
/ (nb + 1).
18. Dimostra che
bias(Vn | µ) = (kb - a) / (nb + 1)
e quindi Vn è asintoticamente corretto.
Nota che, anche in questo caso, non possiamo scegliere k e b in modo da avere Vn corretto.
19. Prova che l'errore quadratico medio di Vn è il seguente, e quindi Vn
è consistente:
MSE(Vn | a) = [(nb2 - 2kb)a + a2 + k2b2) / [(nb + 1)2].
Supponi che X = (X1, X2, ..., Xn) sia un campione casuale di dimensione n da una distribuzione normale con media µ e varianza d2, dove µ è ignoto, mentre d2 è noto. Supponi inoltre che µ abbia distribuzione a priori normale con media a e varianza b2, ovviamente entrambi noti. Sia
Yn = (X1 + X2 + ··· + Xn).
20. Prova che la distribuzione a posteriori di µ dato X è normale con media e varianza:
Pertanto, la distribuzione normale è coniugata alla normale con media ignota e varianza nota. Segue inoltre che lo stimatore Bayesiano di µ è
Un = (Ynb2 + ad2) / (d2 + nb2).
21. Dimostra che
bias(Un | µ) = d2(a - µ) / (d2
+ nb2) e quindi Un è asintoticamente corretto.
22. Dimostra che MSE(Un
| µ) = [nd2b4 + d4(a
- µ)2] / (d2 + nb2)2
e quindi Un è consistente.