1.
Si abbia U = h(X)
e siano f(x | a)
e g(u | a) le funzioni di densità di probabilità di X
e U, rispettivamente. Dimostra che U è
sufficiente per a se e solo seConsideriamo un modello statistico di base, con un espiremento casuale a cui è associata una variabile casuale osservabile X a valori in S. Di nuovo, l'esperimento consiste nell'estrarre n unità da una popolazione e registrarne le misure in un vettore. In questo caso, X ha forma
X = (X1, X2, ..., Xn).
dove Xi è il vettore delle misurazioni per l'i-esima unità.
Supponiamo che la distribuzione di X dipenda da un parametro a che assume valori in uno spazio parametrico A. In genere, a è un vettore di parametro reali.
Intuitivamente, una statistica U = h(X) è sufficiente per a se U contiene tutta l'informazione relativa ad a disponibile nell'intero vettore dei dati X. Formalmente, U è sufficiente per a se la distribuzione condizionata di X dato U non dipende da a.
Il concetto di sufficienza è collegato a quello di riduzione dei dati. Supponiamo che X assuma valori in Rn. Se possiamo individuare una statistica sufficiente U a valori in Rj, allora possiamo ridurre il vettore X (la cui dimensione n è solitamente grande) al vettore di statistiche U (la cui dimensione j è di solito molto minore) senza perdita di informazione sul parametro a.
Il seguente risultato è una condizione di sufficienza equivalente a questa definizione.
1.
Si abbia U = h(X)
e siano f(x | a)
e g(u | a) le funzioni di densità di probabilità di X
e U, rispettivamente. Dimostra che U è
sufficiente per a se e solo se
f(x | a) / g(h(x) | a)
è indipendente da a per ogni x appartenente a S.
Suggerimento: La distribuzione congiunta di (X, U) è concentrata sull'insieme {(x, h(x)): x 
S}.
2.
Supponi che I1, I2, ..., In sia un campione casuale di dimensione n della distribuzione di Bernoulli con parametro p appartenente a (0, 1). Dimostra che Xn
= I1 + I2 +
··· + In è sufficiente per p.
Il risultato dell'esercizio 2 è molto seducente in termini concettuali: in una sequenza di prove Bernoulliane, tutta l'informazione relativa alla probabilità di successo p è contenuta nel numero di successi Xn. L'ordine in cui si verificano successi e insuccessi non aggiunge alcuna informazione.
La definizione di sufficienza riportata poc'anzi coglie il significato intuitivo di questo concetto, ma può essere complessa da applicare. Dobbiamo conoscere a priori una statistica "candidata" U, e dobbiamo poi essere in grado di trovare la distribuzione condizionata di X dato U. Il teorema di fattorizzazione, che riportiamo nell'esercizio seguente, ci consente in molti casi di identificare una statistica sufficiente a partire dalla forma della funzione di densità di X.
3.
Sia f(x | a)
la funzione di densità di X. Dimostra che U
= h(X) è sufficiente per a
se e solo se esistono funzioni G(u | a)
e r(x) tali che
f(x | a) = G[h(x) | a] r(x) per x appartenente a S e a appartenente a A.
Come la notazione stessa suggerisce, r dipende solo dal vettore dei dati x e non dal parametro a.
4.
Prova che, se U e V sono statistiche equivalenti e U è sufficiente per a,
allora V è sufficiente per a.
5.
Supponi che la distribuzione di X sia una famiglia esponenziale a k parametri con statistica naturale
h(X). Prova che h(X)
è sufficiente per a.
Sulla base di questo risultato, h(X) è spesso indicata come statistica sufficiente naturale per la famiglia esponenziale.
6.
Supponi che X1, X2, ..., Xn sia un campione casuale di dimensione n della distribuzione normale con media µ appartenente a R e varianza d2
> 0.
7.
Supponi che X1, X2, ..., Xn sia un campione casuale di dimensione n dalla distribuzione di Poisson con parametro a > 0. Prova che X1 + X2 +
··· + Xn è sufficiente per a dove
8.
Supponi che X1, X2, ..., Xn sia un campione casuale di dimensione n distribuzione gamma con parametro di forma k > 0 e parametro di scala b > 0.
9.
Supponi che X1, X2, ..., Xn sia un campione casuale estratto da una distribuzione beta con parametri a > 0 e b > 0. Mostra che (U, V) è sufficiente per (a, b) dove
U = X1X2 ··· Xn, V = (1 - X1)(1 - X2) ··· (1 - Xn).
10.
Supponiamo che X1, X2, ..., Xn
sia un campione casuale estratto dalla distribuzione uniforme sull'intervallo [0, a] dove a > 0. Mostra che X(n)
(l'n-esima statistica d'ordine) è sufficiente per
a.
Ovviamente il vettore X è sufficiente per a. Tuttavia, come abbiamo già osservato, spesso esiste una statistica U sufficiente per a ma di dimensioni più piccole, cosicché è possibile ridurre effettivamente la dimensione dei dati. Chiaramente vorremmo individuare la statistica U di minori dimensioni possibili. In molti casi, la dimensione più piccola j coincide con la dimensione k del vettore dei parametri a. Tuttavia non è sempre così; j può essere più piccolo o più grande di k.
In termini più formali, supponiamo che una statistica U sia sufficiente per a. U è sufficiente minimale se U è funzione di una qualsiasi altra statistica V sufficiente per a.
Di nuovo, la definizione coglie alla perfezione il concetto di sufficienza minimale, ma è di difficile applicabilità. L'esercizio seguente presenta una condizione equivalente.
11.
Sia f(x | a)
la funzione di densità di X e sia U
= h(X). Prova che U è sufficiente minimale per a se valgono le seguenti condizioni:
f(x | a) / f(y | a) non dipende da a se e solo se h(x) = h(y).
Suggerimento: Se V = g(X) è un'altra statistica sufficiente, usa il teorema di fattorizzazione e la condizione di cui sopra per mostrare che g(x) = g(y) implica h(x) = h(y). Concludi quindi che U è funzione di V.
12.
Prova che, se U e V sono statistiche equivalenti e U è sufficiente minimale per a
allora V è sufficiente minimale per a.
13.
Supponi che la distribuzione di X sia una famiglia esponenziale a k parametri con statistica sufficiente naturale U = h(X).
Prova che U è sufficiente minimale per a.
Suggerimento: Ricorda che j è il più piccolo intero per cui X
è una famiglia esponenziale a j parametri.
14.
Prova che le statistiche sufficienti presentate sopra per le distribuzioni di Bernoulli, di Poisson, normale, gamma e beta sono sufficienti minimali per i parametri dati.
15.
Supponi che X1, X2, ..., Xn
sia un campione casuale estratto dalla distribuzione uniforme sull'intervallo [a, a + 1] dove a > 0. Dimostra che (X(1), X(n))
è sufficiente minimale per a.
Nell'ultimo esercizio, osserva che si ha un unico parametro, ma la statistica minimale è un vettore a due dimensioni.
La sufficienza è correlata ai metodi di costruzione degli stimatori che abbiamo studiato.
16.
Supponi che U sia sufficiente per a e che esista uno stimatore di massima verosimiglianza di a.
Mostra che esiste uno stimatore di massima verosimiglianza V che è funzione di U.
Suggerimento: Usa il teorema di fattorizzazione.
In particolare, supponi che V sia l'unico stimatore di massima verosimiglianza di a e che V sia sufficiente per a. Se U è sufficiente per a, allora V è funzione di U, sulla base dell'esercizio precedente. Segue quindi che V è sufficiente minimale per a.
17.
Supponi che la statistica U sia sufficiente per a e che V
sia uno stimatore Bayesiano di a. Prova che V è funzione di U. Suggerimento: Usa il teorema di fattorizzazione.
L'esercizio seguente riporta il teorema di Rao-Blackwell, che mostra come una statistica sufficiente possa essere utilizzata per migliorare uno stimatore corretto.
18.
Supponi che U sia sufficiente per a e che V sia uno stimatore corretto del parametro reale b = b(a).
Usa la sufficienza, le proprietà di valore atteso condizionato
e di varianza condizionata per mostrare che
var(V) per ogni
a, per cui
E(V | U) è uniformemente migliore di V.Supponi che U = h(X) sia una statistica. U si dice completa se
E[g(U) | a] = 0 per ogni a appartenente a A implica P[g(U) = 0 | a] = 1 per ogni a appartenente a A.
19.
Mostra che, se U e V sono statistiche equivalenti e U è completa per a
allora V è completa per a.
20.
Supponi che I1, I2, ..., In sia un campione casuale di dimensione n dalla distribuzione di Bernoulli con parametro p
appartenente a (0, 1). Mostra che la somma è completa per p:
Y = I1 + I2 + ··· + In.
Suggerimento: Osserva che Ep[g(Y)] può essere scritto come polinomio in t = p / (1 - p). Se tale polinomio vale 0 per ogni t > 0, allora i coefficienti devono valere 0.
21.
Supponi che X1, X2, ..., Xn sia un campione casuale di dimensione n dalla distribuzione di Poisson con parametro a
> 0. Mostra che la somma è completa per a:
Y = X1 + X2 + ··· + Xn.
Suggerimento: Osserva che Ea[g(Y)] può essere scritta come serie in a. Se la serie vale 0 per ogni a > 0, i coefficienti devono essere 0.
22.
Supponi che X1, X2, ..., Xn sia un campione casuale di dimensione n estratto da una distribuzione esponenziale con parametro di scala b
> 0. Mostra che la somma è completa per b.
Y = X1 + X2 + ··· + Xn.
Suggerimento: Prova che Eb[g(Y)] è la trasformata di Laplace di una certa funzione . Se tale trasformata è 0 per ogni b > 0, allora la funzione dev'essere identicamente 0.
Il risultato dell'esercizio precedente si può generalizzare alle famiglie esponenziali, anche se la dimostrazione è complessa. In particolare, se la distribuzione di X è una famiglia esponenziale a j parametri con vettore di statistiche sufficieni naturali U = h(X) allora U è completa per a (nonché sufficiente minimale per a). Questo risultato si applica a campioni casuali estratti da distribuzioni di Bernoulli, di Poisson, normale, gamma e beta.
La nozione di completezza è dipendente dallo spazio parametrico.
23.
Supponi che I1, I2, I3 sia un campione casuale di dimensione 3 estratto da una distribuzione di Bernoulli con parametro p appartenente a {1/3, 1/2}.
Prova che Y = I1 + I2 + I3
non è completa per p.
L'esercizio seguente mostra l'importanza delle statistiche complete e sufficienti, ed è noto come teorema di Lehmann-Scheffe.
24.
Supponi che U sia sufficiente e completa per a
e che T = r(U) sia uno stimatore corretto del parametro reale b(a). Dimostra che T è UMVUE per b(a).
La dimostrazione fa uso dei seguenti passi:
25.
Supponi che (I1, I2, ..., In)
sia un campione casuale di dimensione n estratto dalla distribuzione di Bernoulli con parametro p appartenente a (0, 1). Mostra che un UMVUE per la varianza della distribuzione p(1 - p)
X / (n - 1) - X2 / [n(n - 1)] dove X = I1 + I2 + ··· + In.
26.
Supponi che X1, X2, ..., Xn sia un
sia un campione casuale di dimensione n da una distribuzione di Poisson con parametro a. Mostra che un UMVUE per P(X = 0)
= e-a è
[(n - 1) / n]Y dove Y = X1 + X2 + ··· + Xn.
Suggerimento: Usa la funzione generatrice di probabilità di Y.
Supponi che V = r(X) sia una statistica. Se la distribuzione di V non dipende da a, allora V è detta statistica ancillare per a. Pertanto, la nozione di ancillarità è complementare a quella di sufficienza (ovvero il contenere tutte le informazioni disponibili sul parametro). Il risultato del seguente teorema, dimostrato da Basu, rende la situazione più chiara.
27.
Supponi che U sia completa e sufficiente per a
e che V sia una statistica ancillare. Prova che U
e V sono indipendenti percorrendo i seguenti passi:
28.
Prova che, se U e V sono equivalenti e U è ancillare per a, allora anche V
è ancillare per a.
29.
Supponi che X1, X2, ..., Xn sia un campione casuale estratto da una famiglia di scala con parametro di scala b > 0. Prova che se V è funzione di X1 / Xn,
X2 / Xn, ..., Xn - 1 / Xn
allora V è ancillare per b.
30.
Supponi che X1, X2, ..., Xn sia un campione casuale di dimensione n della distribuzione gamma con parametro di forma k > 0 e parametro di scala b
> 0. Sia M la media campionaria (aritmetica) e U la media campionaria geometrica. Dimostra che M / U è ancillare per b, e concludi che M e M / U sono indipendenti. Suggerimento:
Usa il risultato dell'esercizio precedente.