Laboratorio virtuale > Stima puntuale > 1 2 3 4 [5] 6
Consideriamo, di nuovo, un semplice modello statistico nel quale abbiamo un esperimento casuale che si rappresenta tramite una variabile casuale X che assume valori in S. Di nuovo, l'esperimento consiste nell'estrarre n elementi da una popolazione e registrare le misurazioni su ogni osservazione. In questo caso, X ha forma
X
= (X1, X2, ..., Xn).dove Xi è il vettore delle misurazioni sull'i-esimo elemento.
Supponi che a sia un parametro reale della distribuzione di X,
che assume valori in uno spazio parametrico A 
R. Sia f(· | a) la funzione di densità di probabilità di X per a 
A. Nota che valore atteso, varianza,
e covarianza dipendono da a,
anche se trascureremo ciò per evitare una notazione troppo complessa.
Sia infine Da l'operatore di derivazione rispetto ad a.
Supponi che b = b(a) sia il parametro di interesse. In questo paragrafo considereremo il problema di trovare il migliore stimatore per b(a) in una classe di stimatori corretti. Ricorda che se U è uno stimatore corretto di b(a), allora l'errore quadratico medio coincide con var(U). Pertanto, se U e V sono stiamtori corretti di b(a) e
var(U ) 
var(V) per ogni a A.
Pertanto U è uniformemente migliore di V. D'altra parte, può darsi che U abbia varianza minore per certi valori di a mentre V per altri. Se U è unfiormemente migliore di ogni altro stimatore corretto di b(a), allora U è detto Uniformly Minimum Variance Unbiased Estimator (UMVUE).
In questo paragrafo mostreremo che, sotto condizioni non stringenti, esiste un limite inferiore per la varianza di uno stimatore corretto per un parametro b(a).
Se possiamo quindi trovare uno stimatore che raggiunga questo limite inferiore per ogni a
A, allora tale stimatore dev'essere UMVUE.
L'assunzione che dobbiamo fare è che per ogni funzione h, applicazione di S in R
con E[|h(X)|]
< 
,
Da E[h(X)] = E{h(X) Da ln[f(X | a)]}.
1.
Dimostra che questa condizione equivale all'assunzione che l'operatore di derivazione Da
possa essere scambiato con l'operatore valore atteso E.
In termini generali, l'assunzione è soddisfatta se f(x | a) è derivabile rispetto ad a, con derivata continua rispetto a x e ad a, e se il supporto {x: f(x | a) > 0} non dipende da a.
2.
Dimostra che E{Da ln[f(X | a)]}
= 0. Suggerimento: Usa la condizione fondamentale con h(x) =
1 per x appartenente S.
Poniamo ora che h sia una funzione che soddisfa l'assunzione.
3.
Dimostra che cov{h(X), Da
ln[f(X | a)]} = Da E[h(X)].
Suggerimento: Nota in primo luogo che la covarianza è semplicemente il valore atteso del prodotto delle variabili, poiché la seconda variabile ha media 0 (vedi l'esercizio precedente). Usa poi la condizione.
4.
Dimostra che var{Da ln[f(X | a)]}
= E{[Da ln[f(X | a)]]2}.
Suggerimento: La varibile ha media 0.
5.
Usa infine la disuguaglianza di Cauchy-Schwartz per trovare il limite inferiore di Cramer-Rao:
var[h(X)] 
{Da E[h(X)]}2
/ E{[Da ln[f(X | a)]]2}.
6.
Supponi che X = (X1, X2, ..., Xn)
sia un campione casuale di dimensione n dalla distribuzione di una variabile casuale X con funzione di densità g.
Dimostra che
var[h(X)] {Da E[h(X)]}2
/ n E{[Da ln[g(X | a)]]2}.
Suggerimento: La densità congiunta è il prodotto delle densità marginali. Usa le proprietà dei logaritmi, l'indipendenza e l'esercizio 2.
Supponi ora che b(a) sia il parametro di interesse e h(X) sia uno stimatore corretto di b(a).
7.
Usa la disuguaglianza di Cramer-Rao per mostrare che
var[h(X)] {Da b(a)}2
/ E{[Da ln[f(X | a)]]2}.
8.
Mostra che l'uguaglianza in 7 vale se e solo se
h(x) - b(a) = u(a)Da ln[f(x | a)] per ogni x
per qualche funzione u(a). Suggerimento: Ricorda che l'uguaglianza, nella disuguaglianza di Cauchy-Schwartz, si ha se e solo se le variabili casuali sono trasformazioni lineari l'una dell'altra. Richiama inoltre che Da ln[f(X | a)] ha media 0.
9.
Supponi che X = (X1, X2, ..., Xn)
sia un campione casuale di dimensione n dalla distribuzione di una variabile casuale X con funzione di densità g. Mostra che
var[h(X)] {Da b(a)}2
/ n E{[Da ln[g(X | a)]]2}.
La quantità E{[Da ln[f(X | a)]]2} che si incontra al denominatore dei limiti inferiori negli esercizi 5 e 7 è detta Informazione di Fisher di X, in onore di Sir Ronald Fisher.
Gli esercizi seguenti riportano versioni alternative delle espressioni degli esercizi 7 e 8, spesso più utili a fini computazionali.
10.
Mostra che se le derivate esistono e se sono possibili gli scambi tra derivata e valore atteso, allora
E{[Da ln[g(X | a)]]2} = -E{Da2 ln[g(X | a)]}.
Supponi che (I1, I2, ..., In) sia un campione casuale di dimensione n dalla distribuzione di Bernoulli con parametro p. L'assunzione fondamentale è soddisfatta.
11.
Prova che p(1 - p) / n è il limite inferiore di Cramer-Rao per la varianza degli stimatori corretti di p.
12.
Prova che la media campionaria (o, equivalentemente, la proporzione) Mn
raggiunge il limite inferiore di Cramer-Rao ed è quindi un UMVUE di p.
Supponi che (X1, X2, ..., Xn) sia un campione casuale di dimensione n della distribuzione di Poisson con parametro a. L'assunzione fondamentale è soddisfatta.
13.
Prova che a / n è il limite inferiore di Cramer-Rao per la varianza degli stimatori corretti di a.
14.
Mostra che la media campionaria Mn raggiunge il limite inferiore di Cramer-Rao ed è pertanto UMVUE di a.
Supponi che (X1, X2, ..., Xn) sia un campione di dimensione n della distribuzione normale con media µ e varianza d2. L'assunzione fondamentale è soddisfatta sia per µ che per d2. Ricorda inoltre che E[(X - µ)4] = 3d4.
15.
Prova che d2 / n è il limite inferiore per la varianza degli stimatori corretti di µ.
16.
Prova che la media campionaria Mn raggiunge il limite di Cramer-Rao ed è pertanto
UMVUE di µ.
17.
Prova che 2d4 / n è il limite inferiore per la varianza degli stimatori corretti di d2.
18.
Prova che la varianza campionaria S2
ha varianza 2d4 / (n - 1) e quindi non raggiunge il limite di Cramer-Rao presentato nell'esercizio 17.
19.
Prova che, se µ è noto, allora la statistica sottoindicata raggiunge il limite inferiore di Cramer-Rao ed è pertanto UMVUE di d2:
W2 = (1 / n)
i
= 1, ..., n (Xi - µ)2.
20.
Dimostra che, se µ è ignota, nessuno stimatore di d2 raggiunge il limite inferiore di Cramer-Rao.
Supponi che (X1, X2, ..., Xn) sia un campione casuale di dimensione n della distribuzione gamma con parametro di scala b e parametro di forma k. L'assunzione fondamentale è soddisfatta per b.
21.
Prova che b2 / nk è il limite inferiore per la varianza degli stimatori corretti di b.
22.
Dimostra che, se k è noto, allora Mn / k raggiunge il limite inferiore di Cramer-Rao ed è pertanto UMVUE di b.
Supponi che (X1, X2, ..., Xn) sia un campione casuale di dimensione n della distribuzione uniforme su (0, a).
23.
Prova che l'assunzione fondamentale non è soddisfatta.
24.
Mostra che il limite inferiore per la varianza degli stimatori corretti di a è a2 / n.
25.
Prova (o richiama) che [(n + 1)
/ n]X(n)
è corretto ed ha varianza a2 / n(n + 2),
inferiore al limite di Cramer-Rao dell'esercizio precedente.
La ragione per cui l'assunzione fondamentale non è soddisfatta è che il supporto {x: f(x | a) > 0} dipende da a.
Consideriamo ora un problema più specifico, che riguarda comunque l'argomento di questo paragrafo. Supponiamo che X1, X2, ..., Xn siano variabili casuali osservabili, a valori reali, inocrrelate e con lo stesso valore atteso µ, ma potenzialmente diverse deviazioni standard. Sia di = sd(Xi) per i = 1, 2, ..., n. Consideremo solo stimatori di µ che siano funzioni lineari dei valori osservati:
Y =i
= 1, ..., n ciXi dove c1, ..., cn
devono essere determinati.
26.
Dimostra che Y è corretto se e solo se i
= 1, ..., n ci = 1.
27.
Calcola la varianza di Y in termini di c1, c2,
..., cn e d1, d2, ..., dn.
28.
Usa i moltiplicatori di Lagrange per provare che la varianza è minima, sotto il vincolo di correttezza, se
cj = (1 / dj2) /i
= 1, ..., n (1 / di2) for j =
1, 2, ..., n.
Questo esercizio mostra come costruire il miglior stimatore lineare corretto (BLUE) di µ, assumendo che d1, d2, ..., dn siano noti.
Supponiamo ora che di = d per ogni i, cosicché le variabili abbiano la stessa deviazione standard. In particolare, ciò si verifica quando le variabili formano un campione casuale di dimensione n da una distribuzione con media µ e deviazione standard d.
29.
Mostra che in questo caso la varianza è minima quando ci =
1 / n per ogni i, e quindi Y è la media campionaria.
Questo esercizio ha mostrato che la media campionaria Mn è il miglior stimatore lineare corretto di µ quando le deviazioni standard sono costanti e che, inoltre, non è necessario conoscere il loro valore.