Esercizi autovalutazione settimana #05

Verosimiglianza modello normale, stimatori, riepilogo statistiche per problemi ad una popolazione

Sia \((x_1, \ldots, x_n)\) un campione i.i.d. da un DGP normale \(\mathcal{N}(\mu, \sigma^2)\), con entrambi i parametri ignoti. Qual è la funzione di log-verosimiglianza \(\ell(\mu, \sigma^2)\)?

\(\ell(\mu, \sigma^2) = -\dfrac{n}{2}\log(2\pi) + \dfrac{n}{2}\log(\sigma^2) - \dfrac{1}{2\sigma^2}\displaystyle\sum_{i=1}^n(x_i - \mu)^2\)\(\ell(\mu, \sigma^2) = -\dfrac{n}{2}\log(2\pi) - \dfrac{n}{2}\log(\sigma^2) - \dfrac{1}{2\sigma^2}\displaystyle\sum_{i=1}^n(x_i - \mu)^2\)\(\ell(\mu, \sigma^2) = -\dfrac{n}{2}\log(2\pi\sigma^2) \cdot \dfrac{1}{2\sigma^2}\displaystyle\sum_{i=1}^n(x_i - \mu)^2\)\(\ell(\mu, \sigma^2) = -\dfrac{n}{2}\log(2\pi) - \dfrac{n}{2}\log(\sigma^2) - \dfrac{1}{2\sigma^2}\displaystyle\sum_{i=1}^n x_i^2\)

La densità di una singola osservazione \(\mathcal{N}(\mu, \sigma^2)\) è \(f(x;\mu,\sigma^2) = (2\pi\sigma^2)^{-1/2}\exp\!\left[-\frac{(x-\mu)^2}{2\sigma^2}\right]\). Per un campione i.i.d., la log-verosimiglianza è la somma dei logaritmi delle densità marginali: \[\ell(\mu,\sigma^2) = \sum_{i=1}^n \log f(x_i;\mu,\sigma^2) = -\frac{n}{2}\log(2\pi) - \frac{n}{2}\log(\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2.\] L’opzione 2 usa \(\sum x_i^2\) invece di \(\sum(x_i-\mu)^2\): dimentica di centrare le osservazioni attorno a \(\mu\). L’opzione 3 usa il segno \(+\) davanti a \(\frac{n}{2}\log(\sigma^2)\): è errato perché il logaritmo di \((2\pi\sigma^2)^{-n/2}\) produce un segno negativo. L’opzione 4 usa il prodotto invece della somma tra i due blocchi, confondendo la struttura additiva della log-verosimiglianza.

False
True
False
False

Per un campione i.i.d. da \(\mathcal{N}(\mu, \sigma^2)\) con \(\sigma^2\) nota, qual è la coppia formata dallo stimatore di massima verosimiglianza \(\hat{\mu}_{MV}\) e dall’informazione osservata di Fisher \(j(\hat{\mu}_{MV})\)?

\(\hat{\mu}_{MV} = \bar{x}_n\) e \(j(\hat{\mu}_{MV}) = n/\sigma^2\)\(\hat{\mu}_{MV} = \bar{x}_n\) e \(j(\hat{\mu}_{MV}) = \sigma^2/n\)\(\hat{\mu}_{MV} = \text{mediana}(x_1,\ldots,x_n)\) e \(j(\hat{\mu}_{MV}) = n/\sigma^2\)\(\hat{\mu}_{MV} = \bar{x}_n\) e \(j(\hat{\mu}_{MV}) = n/\sigma^4\)

Con \(\sigma^2\) nota, la log-verosimiglianza per \(\mu\) è proporzionale a \(-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2\). Derivando rispetto a \(\mu\) e uguagliando a zero si ottiene \(\hat{\mu}_{MV} = \bar{x}_n\). La seconda derivata è \(\ell''(\mu) = -n/\sigma^2\), costante in \(\mu\), quindi l’informazione osservata è: \[j(\hat{\mu}_{MV}) = -\ell''(\hat{\mu}_{MV}) = \frac{n}{\sigma^2}.\] L’opzione 2 riporta \(\sigma^2/n\) per l’informazione: è la varianza dello stimatore \(\bar{X}_n\), non l’informazione osservata (che ne è l’inverso). L’opzione 3 propone la mediana: per la distribuzione normale la mediana campionaria è anch’essa uno stimatore non distorto di \(\mu\), ma non è il MV. L’opzione 4 usa \(\sigma^4\) al denominatore dell’informazione: è una confusione con la formula della varianza di \(S^2\).

True
False
False
False

Per un campione i.i.d. da \(\mathcal{N}(\mu, \sigma^2)\), come differisce lo stimatore di massima verosimiglianza di \(\sigma^2\) a seconda che \(\mu\) sia nota o incognita?

Se \(\mu\) è nota: \(\hat{\sigma}^2_{MV} = \frac{1}{n}\sum_{i=1}^n(x_i - \mu)^2\); se \(\mu\) è incognita: \(\hat{\sigma}^2_{MV} = \frac{1}{n}\sum_{i=1}^n(x_i - \bar{x}_n)^2\).In entrambi i casi \(\hat{\sigma}^2_{MV} = \frac{1}{n}\sum_{i=1}^n(x_i - \bar{x}_n)^2\), perché il valore di \(\mu\) non influenza la stima di \(\sigma^2\).Se \(\mu\) è nota: \(\hat{\sigma}^2_{MV} = \frac{1}{n-1}\sum_{i=1}^n(x_i - \mu)^2\); se \(\mu\) è incognita: \(\hat{\sigma}^2_{MV} = \frac{1}{n-1}\sum_{i=1}^n(x_i - \bar{x}_n)^2\).Se \(\mu\) è nota: \(\hat{\sigma}^2_{MV} = \frac{1}{n}\sum_{i=1}^n(x_i - \mu)^2\); se \(\mu\) è incognita: \(\hat{\sigma}^2_{MV} = \frac{1}{n-1}\sum_{i=1}^n(x_i - \bar{x}_n)^2\).

Nei due casi si massimizza la log-verosimiglianza rispetto a \(\sigma^2\), con la differenza che quando \(\mu\) è incognita va sostituita con la propria stima MV \(\bar{x}_n\). Il risultato è: \[\hat{\sigma}^2_{MV} = \frac{1}{n}\sum_{i=1}^n(x_i - \mu)^2 \quad (\mu \text{ nota}), \qquad \hat{\sigma}^2_{MV} = \frac{1}{n}\sum_{i=1}^n(x_i - \bar{x}_n)^2 \quad (\mu \text{ incognita}).\] In entrambi i casi il divisore è \(n\), non \(n-1\): lo stimatore MV della varianza è distorto. L’opzione 2 usa il divisore \(n-1\) in entrambi i casi: descrive la varianza campionaria corretta, che è non distorta ma non coincide con il MV. L’opzione 3 usa \(n\) nel primo caso e \(n-1\) nel secondo: mescola i due stimatori in modo incoerente. L’opzione 4 usa sempre \(\bar{x}_n\): quando \(\mu\) è nota va usato il valore noto di \(\mu\), non la media campionaria.

True
False
False
False

Nel modello normale con entrambi i parametri \((\mu, \sigma^2)\) ignoti, come si definisce la verosimiglianza profilo per \(\mu\), indicata con \(L_P(\mu)\)?

\(L_P(\mu) = L(\mu,\, \hat{\sigma}^2_{MV}(\mu))\), dove \(\hat{\sigma}^2_{MV}(\mu) = \frac{1}{n}\sum_{i=1}^n(x_i - \mu)^2\) è il MV di \(\sigma^2\) per ogni valore fisso di \(\mu\).\(L_P(\mu) = \int_0^\infty L(\mu, \sigma^2)\,d\sigma^2\), ovvero la verosimiglianza marginale ottenuta integrando via \(\sigma^2\).\(L_P(\mu) = L(\mu, \hat{\sigma}^2_{MV})\), dove \(\hat{\sigma}^2_{MV} = \frac{1}{n}\sum_{i=1}^n(x_i - \bar{x}_n)^2\) è il MV congiunto di \(\sigma^2\).\(L_P(\mu) = L(\mu, \sigma^2_0)\), dove \(\sigma^2_0\) è un valore di riferimento fissato a priori dal ricercatore.

La verosimiglianza profilo per \(\mu\) si ottiene sostituendo, per ogni valore fisso di \(\mu\), il valore di \(\sigma^2\) che massimizza la verosimiglianza congiunta a quel \(\mu\) fissato: \[L_P(\mu) = \max_{\sigma^2} L(\mu, \sigma^2) = L\!\left(\mu,\, \hat{\sigma}^2_{MV}(\mu)\right), \quad \hat{\sigma}^2_{MV}(\mu) = \frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2.\] In questo modo si “elimina” il parametro di disturbo \(\sigma^2\) per concentrarsi sull’inferenza su \(\mu\). L’opzione 2 descrive la verosimiglianza marginale dell’approccio bayesiano, che integra via il parametro di disturbo anziché massimizzare. L’opzione 3 usa il MV congiunto \(\hat{\sigma}^2_{MV} = \frac{1}{n}\sum(x_i - \bar{x}_n)^2\), che è fisso e non dipende da \(\mu\): non è la verosimiglianza profilo ma un semplice taglio della superficie di verosimiglianza. L’opzione 4 fissa \(\sigma^2\) a un valore arbitrario scelto dal ricercatore: non ha giustificazione nell’approccio MV.

True
False
False
False

Come si definisce una variabile casuale con distribuzione chi-quadrato con \(k\) gradi di libertà, indicata con \(\chi^2(k)\)?

\(V = \sum_{i=1}^k Z_i^2\), dove \(Z_1, \ldots, Z_k\) sono variabili casuali i.i.d. con distribuzione \(\mathcal{N}(0,1)\).\(V = \sum_{i=1}^k Z_i^2\), dove \(Z_1, \ldots, Z_k\) sono variabili casuali i.i.d. con distribuzione \(\mathcal{N}(\mu, \sigma^2)\) qualsiasi.\(V = \left(\sum_{i=1}^k Z_i\right)^2\), dove \(Z_1, \ldots, Z_k\) sono variabili casuali i.i.d. con distribuzione \(\mathcal{N}(0,1)\).\(V = \sum_{i=1}^k Z_i\), dove \(Z_1, \ldots, Z_k\) sono variabili casuali i.i.d. con distribuzione \(\mathcal{N}(0,1)\).

Una variabile \(\chi^2(k)\) è definita come la somma di \(k\) quadrati di variabili normali standard indipendenti: \[V = \sum_{i=1}^k Z_i^2, \quad Z_i \stackrel{\text{i.i.d.}}{\sim} \mathcal{N}(0,1).\] Ha supporto \([0, +\infty)\), media \(k\) e varianza \(2k\). L’opzione 2 descrive la somma (non il quadrato) di normali standard: per il TCL converge a \(\mathcal{N}(0,k)\) standardizzata, ma non è una chi-quadrato. L’opzione 3 eleva al quadrato la somma di tutte le \(Z_i\) invece di sommare i quadrati: è equivalente a \((\sqrt{k}\,\bar{Z})^2\cdot k\), non a \(\chi^2(k)\). L’opzione 4 usa normali non standardizzate \(\mathcal{N}(\mu,\sigma^2)\): la definizione richiede esplicitamente variabili \(\mathcal{N}(0,1)\), altrimenti la distribuzione della somma dei quadrati non è una chi-quadrato.

True
False
False
False

Quale delle seguenti affermazioni definisce correttamente uno stimatore di un parametro \(\theta\)?

Una statistica \(T_n = T(X_1, \ldots, X_n)\) usata per approssimare il valore ignoto di \(\theta\) sulla base del campione casuale.Il valore numerico \(t_n = T(x_1, \ldots, x_n)\) ottenuto applicando la statistica al campione osservato.Il parametro vero \(\theta\) della popolazione, stimato attraverso la raccolta di dati su di essa.Qualsiasi funzione di \(\theta\) che descriva la distribuzione della popolazione da cui proviene il campione.

Uno stimatore è una funzione del campione casuale \((X_1, \ldots, X_n)\), ovvero una statistica \(T_n = T(X_1, \ldots, X_n)\), scelta con l’obiettivo di approssimare un parametro ignoto \(\theta\). In quanto funzione di variabili casuali, lo stimatore è esso stesso una variabile casuale, e le sue proprietà (correttezza, efficienza, consistenza) si studiano attraverso la sua distribuzione campionaria. L’opzione 2 descrive invece la stima: il valore numerico specifico prodotto dall’applicazione dello stimatore al campione osservato \((x_1,\ldots,x_n)\). La distinzione stimatore/stima è analoga a quella campione casuale/campione osservato. L’opzione 3 descrive il parametro stesso, che è il bersaglio della stima, non lo strumento. L’opzione 4 descrive un modello parametrico, non uno stimatore.

True
False
False
False

Quale delle seguenti affermazioni descrive correttamente la differenza tra non distorsione finita e non distorsione asintotica di uno stimatore \(T_n\) per il parametro \(\theta\)?

\(T_n\) è non distorto in senso finito se \(\mathrm{E}[T_n] = \theta\) per \(n\) sufficientemente grande; è non distorto asintoticamente se \(\mathrm{E}[T_n] = \theta\) per ogni \(n\).\(T_n\) è non distorto in senso finito se \(T_n \to \theta\) in probabilità; è non distorto asintoticamente se \(\mathrm{E}[T_n] \to \theta\).\(T_n\) è non distorto in senso finito se \(\mathrm{Var}(T_n) \to 0\); è non distorto asintoticamente se \(\mathrm{E}[T_n] = \theta\) per ogni \(n\).\(T_n\) è non distorto in senso finito se \(\mathrm{E}[T_n] = \theta\) per ogni \(n\); è non distorto asintoticamente se \(\lim_{n\to\infty}\mathrm{E}[T_n] = \theta\), pur potendo avere \(\mathrm{E}[T_n] \neq \theta\) per \(n\) finito.

La non distorsione finita (o esatta) richiede che il valore atteso dello stimatore coincida con il parametro vero per qualsiasi dimensione campionaria \(n\): \(\mathrm{E}[T_n] = \theta\) per ogni \(n \geq 1\). È una proprietà più forte. La non distorsione asintotica richiede solo che la distorsione \(\mathrm{E}[T_n] - \theta\) si azzeri al crescere di \(n\): \(\lim_{n\to\infty}\mathrm{E}[T_n] = \theta\). Uno stimatore asintoticamente non distorto può quindi essere distorto per campioni piccoli. L’opzione 2 inverte le due definizioni. L’opzione 3 confonde la non distorsione con la consistenza (\(T_n \xrightarrow{P} \theta\)): la convergenza in probabilità riguarda la distribuzione dello stimatore, non solo il suo valore atteso. L’opzione 4 confonde la non distorsione con l’efficienza asintotica (\(\text{Var}(T_n)\to 0\)).

False
False
False
True

Sia \((X_1, \ldots, X_n)\) un campione i.i.d. da \(\mathcal{N}(\mu, \sigma^2)\) con \(\mu\) incognita. Si definisce la varianza campionaria corretta \(S^2_n = \frac{1}{n-1}\sum_{i=1}^n(X_i - \bar{X}_n)^2\). Quali sono il valore atteso e la distribuzione campionaria di \(S^2_n\)?

\(\mathrm{E}[S^2_n] = \sigma^2\) e \(\dfrac{(n-1)S^2_n}{\sigma^2} \sim \chi^2(n-1)\).\(\mathrm{E}[S^2_n] = \sigma^2\) e \(\dfrac{(n-1)S^2_n}{\sigma^2} \sim \chi^2(n)\).\(\mathrm{E}[S^2_n] = \sigma^2\) e \(\dfrac{n\,S^2_n}{\sigma^2} \sim \chi^2(n-1)\).\(\mathrm{E}[S^2_n] = \dfrac{n-1}{n}\sigma^2\) e \(\dfrac{(n-1)S^2_n}{\sigma^2} \sim \chi^2(n-1)\).

Il divisore \(n-1\) nella varianza campionaria corretta garantisce la non distorsione: \(\mathrm{E}[S^2_n] = \sigma^2\). La quantità \((n-1)S^2_n/\sigma^2\) può essere scritta come \(\sum_{i=1}^n[(X_i-\bar{X}_n)/\sigma]^2\), somma di \(n\) quadrati di normali standardizzate ma soggetti al vincolo \(\sum(X_i - \bar{X}_n) = 0\), che riduce i gradi di libertà da \(n\) a \(n-1\): \[\frac{(n-1)S^2_n}{\sigma^2} \sim \chi^2(n-1).\] L’opzione 2 usa \(n\) gradi di libertà invece di \(n-1\): sarebbe corretto se \(\mu\) fosse nota (nel qual caso si userebbe \(\sum(X_i-\mu)^2/\sigma^2 \sim \chi^2(n)\)). L’opzione 3 riporta il valore atteso dello stimatore MV non corretto \(\hat\sigma^2_{MV} = \frac{1}{n}\sum(X_i-\bar{X}_n)^2\), che è distorto. L’opzione 4 usa \(n\) al numeratore invece di \(n-1\): corrisponde al rapporto basato sullo stimatore MV non corretto, non su \(S^2_n\).

True
False
False
False

Come si definisce una variabile casuale con distribuzione t di Student con \(k\) gradi di libertà, indicata con \(t(k)\)?

\(T = Z \cdot \sqrt{V/k}\), dove \(Z \sim \mathcal{N}(0,1)\) e \(V \sim \chi^2(k)\) sono indipendenti.\(T = \dfrac{Z}{V/k}\), dove \(Z \sim \mathcal{N}(0,1)\) e \(V \sim \chi^2(k)\) sono indipendenti.\(T = \dfrac{Z}{\sqrt{V/k}}\), dove \(Z \sim \mathcal{N}(0,1)\) e \(V \sim \chi^2(k)\) sono dipendenti.\(T = \dfrac{Z}{\sqrt{V/k}}\), dove \(Z \sim \mathcal{N}(0,1)\) e \(V \sim \chi^2(k)\) sono indipendenti.

La variabile \(t(k)\) si definisce come il rapporto tra una normale standard e la radice quadrata di una chi-quadrato divisa per i suoi gradi di libertà, con le due variabili indipendenti: \[T = \frac{Z}{\sqrt{V/k}}, \quad Z \sim \mathcal{N}(0,1),\; V \sim \chi^2(k),\; Z \perp V.\] La distribuzione \(t(k)\) è simmetrica attorno a 0, ha code più pesanti della normale e converge a \(\mathcal{N}(0,1)\) per \(k \to \infty\). L’indipendenza tra \(Z\) e \(V\) è una condizione essenziale della definizione. L’opzione 2 mantiene la formula corretta ma rimuove l’ipotesi di indipendenza, che è invece necessaria affinché il rapporto abbia distribuzione \(t\). L’opzione 3 moltiplica invece di dividere: la distribuzione del prodotto \(Z\sqrt{V/k}\) non è una \(t\). L’opzione 4 usa \(V/k\) (senza radice quadrata) al denominatore: la distribuzione risultante è diversa dalla \(t\) di Student.

False
False
False
True

Sia \((X_1, \ldots, X_n)\) un campione i.i.d. da \(\mathcal{N}(\mu, \sigma^2)\) con \(\sigma^2\) incognita. Qual è la distribuzione della statistica standardizzata basata sulla media campionaria \(\bar{X}_n\) e sulla varianza campionaria corretta \(S_n\)?

\(\dfrac{\bar{X}_n - \mu}{S_n / \sqrt{n}} \sim \mathcal{N}(0,1)\)\(\dfrac{\bar{X}_n - \mu}{S_n / \sqrt{n}} \sim t(n-1)\)\(\dfrac{\bar{X}_n - \mu}{\sigma / \sqrt{n}} \sim t(n-1)\)\(\dfrac{\bar{X}_n - \mu}{S_n / \sqrt{n}} \sim t(n)\)

Quando \(\sigma^2\) è incognita non possiamo usare la statistica \((\bar{X}_n - \mu)/(\sigma/\sqrt{n}) \sim \mathcal{N}(0,1)\), perché richiede la conoscenza di \(\sigma\). Sostituendo \(\sigma\) con \(S_n\), la statistica risultante segue una distribuzione \(t\) di Student con \(n-1\) gradi di libertà: \[\frac{\bar{X}_n - \mu}{S_n/\sqrt{n}} \sim t(n-1).\] Questo risultato discende dalla definizione di \(t(k)\): al numeratore si ha \((\bar{X}_n - \mu)/(\sigma/\sqrt{n}) \sim \mathcal{N}(0,1)\), al denominatore \(S_n/\sigma = \sqrt{(n-1)S^2_n/\sigma^2/(n-1)} = \sqrt{\chi^2(n-1)/(n-1)}\), con le due quantità indipendenti. L’opzione 2 riporta la distribuzione normale standard: è corretta solo se \(\sigma\) è nota. L’opzione 3 usa \(\sigma\) (noto) al denominatore: è lo standardizzato con varianza nota, distribuito \(\mathcal{N}(0,1)\), non \(t\). L’opzione 4 usa \(n\) gradi di libertà invece di \(n-1\): i gradi di libertà sono \(n-1\) perché un grado è perso nella stima di \(\mu\) con \(\bar{X}_n\).

False
True
False
False

Per un campione i.i.d. da \(\mathcal{N}(\mu, \sigma^2)\), si vuole condurre inferenza sulla media \(\mu\) quando la varianza \(\sigma^2\) è incognita. Quale statistica campionaria è distribuita in modo esattamente noto e utilizzabile per costruire intervalli di confidenza e test?

\(\dfrac{(n-1)S^2_n}{\sigma^2} \sim \chi^2(n-1)\), che permette inferenza su \(\mu\) una volta stimata \(\sigma^2\).\(\dfrac{\bar{X}_n - \mu}{S_n/\sqrt{n}} \sim t(n-1)\), dove \(S_n = \sqrt{\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar{X}_n)^2}\).\(\dfrac{\bar{X}_n - \mu}{S_n/\sqrt{n}} \sim \mathcal{N}(0,1)\) per il teorema del limite centrale, indipendentemente da \(n\).\(\dfrac{\bar{X}_n - \mu}{\sigma/\sqrt{n}} \sim \mathcal{N}(0,1)\), sostituendo \(\sigma\) con il suo valore ignoto.

Quando \(\sigma^2\) è incognita, la statistica pivot corretta per l’inferenza su \(\mu\) è la \(t\) di Student con \(n-1\) gradi di libertà, che sostituisce \(\sigma\) con la deviazione standard campionaria corretta \(S_n\). La sua distribuzione esatta è valida per qualsiasi \(n\), non solo asintoticamente. L’opzione 2 richiede la conoscenza di \(\sigma\), che per ipotesi è incognita: non è applicabile. L’opzione 3 fornisce la statistica pivot corretta per l’inferenza su \(\sigma^2\) (non su \(\mu\)), e richiede comunque che \(\sigma^2\) sia nel denominatore. L’opzione 4 usa l’approssimazione normale per la statistica con \(S_n\): per \(n\) grande è giustificata dal TCL, ma non è la distribuzione esatta per campioni finiti estratti da una normale; la distribuzione esatta è \(t(n-1)\).

False
True
False
False