Esercizi autovalutazione settimana #04

Stima massima verosimiglianza, informazione osservata di Fisher, approssimazione quadratica, DGP non regolari

Sia \((x_1, \ldots, x_n)\) un campione osservato da un DGP bernoulliano con parametro \(\pi \in (0,1)\), e sia \(s = \sum_{i=1}^n x_i\) il numero di successi osservati. Qual è la funzione di log-verosimiglianza \(\ell(\pi)\)?

\(\ell(\pi) = \log\pi^s + \log(1-\pi)^s\)\(\ell(\pi) = s \log \pi \cdot (n - s) \log(1 - \pi)\)\(\ell(\pi) = s \log \pi + (n - s) \log(1 - \pi)\)\(\ell(\pi) = s \log \pi - (n - s) \log(1 - \pi)\)

La funzione di verosimiglianza per il modello bernoulliano è \(L(\pi) = \pi^s (1-\pi)^{n-s}\). Applicando il logaritmo naturale e usando le proprietà \(\log(ab) = \log a + \log b\) e \(\log(a^k) = k \log a\): \[\ell(\pi) = \log L(\pi) = s \log \pi + (n-s)\log(1-\pi).\] L’opzione 2 usa \(s\) come esponente anche nel secondo termine invece di \((n-s)\): è un errore di trascrizione della verosimiglianza di partenza. L’opzione 3 sostituisce la somma con una differenza nel secondo termine: il logaritmo di un prodotto è una somma, non una differenza. L’opzione 4 usa il prodotto tra i due termini invece della somma: confonde la proprietà del logaritmo di un prodotto (\(\log ab = \log a + \log b\)) con quella di una potenza.

False
False
True
False

Per il modello bernoulliano con \(s\) successi su \(n\) osservazioni, l’informazione osservata di Fisher è definita come \(j(\hat{\pi}) = -\ell''(\hat{\pi})\), dove \(\hat{\pi} = s/n\) è la stima di massima verosimiglianza. Qual è il valore di \(j(\hat{\pi})\)?

\(j(\hat{\pi}) = -\dfrac{n}{\hat{\pi}(1-\hat{\pi})}\)\(j(\hat{\pi}) = \dfrac{1}{\hat{\pi}(1-\hat{\pi})}\)\(j(\hat{\pi}) = n\,\hat{\pi}(1-\hat{\pi})\)\(j(\hat{\pi}) = \dfrac{n}{\hat{\pi}(1-\hat{\pi})}\)

Partendo dalla log-verosimiglianza \(\ell(\pi) = s\log\pi + (n-s)\log(1-\pi)\), la prima derivata è: \[\ell'(\pi) = \frac{s}{\pi} - \frac{n-s}{1-\pi},\] e la seconda derivata è: \[\ell''(\pi) = -\frac{s}{\pi^2} - \frac{n-s}{(1-\pi)^2}.\] Valutando in \(\hat{\pi} = s/n\) (e quindi \(n - s = n(1-\hat\pi)\)) e cambiando segno: \[j(\hat{\pi}) = -\ell''(\hat{\pi}) = \frac{s}{\hat{\pi}^2} + \frac{n-s}{(1-\hat{\pi})^2} = \frac{n\hat\pi}{\hat{\pi}^2} + \frac{n(1-\hat\pi)}{(1-\hat{\pi})^2} = \frac{n}{\hat{\pi}} + \frac{n}{1-\hat{\pi}} = \frac{n}{\hat{\pi}(1-\hat{\pi})}.\] L’opzione 2 è la varianza della singola Bernoulli moltiplicata per \(n\), ovvero \(\text{Var}(S_n)\): è l’inverso dell’informazione, non l’informazione stessa. L’opzione 3 omette il fattore \(n\): sarebbe l’informazione per una singola osservazione. L’opzione 4 riporta il valore con segno negativo, dimenticando che l’informazione è definita con il cambio di segno della derivata seconda.

False
False
False
True

Quale delle seguenti affermazioni descrive correttamente la verosimiglianza relativa \(R(\pi)\) e la log-verosimiglianza relativa \(\ell_R(\pi)\)?

\(R(\pi) = \log[L(\pi) / L(\hat{\pi})]\) e \(\ell_R(\pi) = \ell(\pi) - \ell(\hat{\pi})\), con entrambe le funzioni con massimo 0 in \(\hat{\pi}\).\(R(\pi) = L(\pi) / L(\hat{\pi})\) e \(\ell_R(\pi) = \ell(\pi) - \ell(\hat{\pi})\), con \(R(\pi) \in (-\infty, 0]\) e massimo in \(\hat{\pi}\) pari a 0.\(R(\pi) = L(\pi) / L(\hat{\pi})\) e \(\ell_R(\pi) = \ell(\pi) - \ell(\hat{\pi})\), con \(R(\pi) \in (0, 1]\) e massimo in \(\hat{\pi}\) pari a 1.\(R(\pi) = L(\pi) - L(\hat{\pi})\) e \(\ell_R(\pi) = \ell(\pi) / \ell(\hat{\pi})\), con \(R(\pi) \leq 0\) e massimo in \(\hat{\pi}\) pari a 0.

La verosimiglianza relativa si ottiene normalizzando la verosimiglianza rispetto al suo valore massimo: \[R(\pi) = \frac{L(\pi)}{L(\hat{\pi})},\] così \(R(\hat{\pi}) = 1\) e \(R(\pi) \in (0, 1]\) per ogni \(\pi\). La log-verosimiglianza relativa è il logaritmo di \(R(\pi)\), ovvero la differenza delle log-verosimiglianze: \[\ell_R(\pi) = \log R(\pi) = \ell(\pi) - \ell(\hat{\pi}) \leq 0,\] con massimo pari a 0 in \(\hat{\pi}\). Le due funzioni facilitate il confronto tra valori del parametro: \(R(\pi) = 0.1\) indica che \(\pi\) è dieci volte meno plausibile di \(\hat{\pi}\). L’opzione 2 scambia le definizioni di \(R\) e \(\ell_R\). L’opzione 3 riporta correttamente le formule ma sbaglia il codominio di \(R(\pi)\): il rapporto di due quantità positive è positivo, non negativo. L’opzione 4 definisce erroneamente \(R(\pi)\) come il logaritmo del rapporto (che sarebbe già \(\ell_R(\pi)\)), rendendo le due funzioni coincidenti.

False
False
True
False

Sia \(f\) una funzione sufficientemente regolare. Qual è la corretta interpretazione dello sviluppo di McLaurin al secondo ordine di \(f\)?

È lo sviluppo di Taylor di \(f\) centrato in \(x_0 = 0\): \(f(x) \approx f(0) + f'(0)\,x + \dfrac{f''(0)}{2}\,x^2\).È uno sviluppo in serie di potenze valido solo per funzioni periodiche, basato sui coefficienti di Fourier di \(f\).È lo sviluppo di Taylor di \(f\) centrato in \(x_0 = 1\): \(f(x) \approx f(1) + f'(1)(x-1) + \dfrac{f''(1)}{2}(x-1)^2\).È lo sviluppo di Taylor di \(f\) centrato nel punto di massimo \(\hat{x}\): \(f(x) \approx f(\hat{x}) + f'(\hat{x})(x - \hat{x}) + \dfrac{f''(\hat{x})}{2}(x-\hat{x})^2\).

Lo sviluppo di McLaurin è semplicemente lo sviluppo di Taylor centrato nell’origine \(x_0 = 0\): \[f(x) \approx f(0) + f'(0)\,x + \frac{f''(0)}{2}\,x^2 + \cdots\] È un caso particolare dello sviluppo di Taylor \[f(x) \approx f(x_0) + f'(x_0)(x - x_0) + \frac{f''(x_0)}{2}(x - x_0)^2 + \cdots\] con \(x_0 = 0\). L’opzione 2 descrive lo sviluppo di Taylor centrato nel massimo \(\hat{x}\): è la forma usata nell’approssimazione quadratica della log-verosimiglianza, ma non è la definizione di McLaurin. L’opzione 3 confonde lo sviluppo di Taylor con le serie di Fourier, che sono concetti distinti. L’opzione 4 descrive uno sviluppo di Taylor centrato in \(x_0 = 1\), non in \(x_0 = 0\).

True
False
False
False

Qual è la forma dell’approssimazione quadratica della log-verosimiglianza \(\ell(\pi)\) attorno alla stima di massima verosimiglianza \(\hat{\pi}\), ottenuta tramite sviluppo di Taylor al second’ordine?

\(\ell(\pi) \approx \ell(\hat{\pi}) - \dfrac{1}{2}\,j(\hat{\pi})\,(\pi - \hat{\pi})^2\)\(\ell(\pi) \approx \ell(\hat{\pi}) - j(\hat{\pi})\,(\pi - \hat{\pi})^2\)\(\ell(\pi) \approx \ell(\hat{\pi}) + \ell'(\hat{\pi})\,(\pi - \hat{\pi}) - \dfrac{1}{2}\,j(\hat{\pi})\,(\pi - \hat{\pi})^2\)\(\ell(\pi) \approx \ell(\hat{\pi}) + \dfrac{1}{2}\,j(\hat{\pi})\,(\pi - \hat{\pi})^2\)

Lo sviluppo di Taylor al second’ordine di \(\ell(\pi)\) attorno a \(\hat{\pi}\) è: \[\ell(\pi) \approx \ell(\hat{\pi}) + \ell'(\hat{\pi})(\pi - \hat{\pi}) + \frac{\ell''(\hat{\pi})}{2}(\pi - \hat{\pi})^2.\] Poiché \(\hat{\pi}\) è il massimo della log-verosimiglianza, la condizione del primo ordine impone \(\ell'(\hat{\pi}) = 0\): il termine lineare scompare. Sostituendo \(j(\hat{\pi}) = -\ell''(\hat{\pi})\) si ottiene: \[\ell(\pi) \approx \ell(\hat{\pi}) - \frac{1}{2}\,j(\hat{\pi})\,(\pi - \hat{\pi})^2.\] Questa forma parabolica con concavità verso il basso (poiché \(j(\hat{\pi}) > 0\)) è la base per l’inferenza approssimata. L’opzione 2 mantiene il termine lineare \(\ell'(\hat{\pi})(\pi - \hat{\pi})\), che è nullo in \(\hat{\pi}\) e va quindi eliminato. L’opzione 3 usa il segno sbagliato per il termine quadratico: produrrebbe una parabola con concavità verso l’alto, incompatibile con l’esistenza di un massimo. L’opzione 4 omette il fattore \(1/2\) che compare nello sviluppo di Taylor.

True
False
False
False

Per il modello bernoulliano con \(n\) osservazioni e stima \(\hat{\pi} = s/n\), l’approssimazione quadratica della log-verosimiglianza relativa è: \[\ell_R(\pi) \approx -\frac{1}{2}\,j(\hat{\pi})\,(\pi - \hat{\pi})^2.\] Sostituendo l’informazione osservata di Fisher \(j(\hat{\pi}) = n/[\hat{\pi}(1-\hat{\pi})]\), quale forma assume questa approssimazione?

\(\ell_R(\pi) \approx -\dfrac{n}{2\,\hat{\pi}(1-\hat{\pi})}(\pi - \hat{\pi})^2\)\(\ell_R(\pi) \approx -\dfrac{n}{2}(\pi - \hat{\pi})^2\)\(\ell_R(\pi) \approx -\dfrac{1}{2\,\hat{\pi}(1-\hat{\pi})}(\pi - \hat{\pi})^2\)\(\ell_R(\pi) \approx \dfrac{n}{2\,\hat{\pi}(1-\hat{\pi})}(\pi - \hat{\pi})^2\)

Sostituendo direttamente \(j(\hat{\pi}) = n/[\hat{\pi}(1-\hat{\pi})]\) nella formula generale: \[\ell_R(\pi) \approx -\frac{1}{2} \cdot \frac{n}{\hat{\pi}(1-\hat{\pi})} \cdot (\pi - \hat{\pi})^2 = -\frac{n}{2\,\hat{\pi}(1-\hat{\pi})}(\pi - \hat{\pi})^2.\] Si noti che l’approssimazione è tanto più concentrata attorno a \(\hat{\pi}\) quanto più grande è \(n\) e quanto più \(\hat{\pi}\) è lontano da 0 e 1 (dove la varianza \(\hat\pi(1-\hat\pi)\) è più piccola). L’opzione 2 omette il fattore \(n\): corrisponderebbe all’approssimazione per una singola osservazione. L’opzione 3 omette il termine \(\hat{\pi}(1-\hat{\pi})\) al denominatore: è come se si stesse approssimando una funzione con informazione costante pari a \(n\). L’opzione 4 riporta la formula con il segno positivo, producendo una parabola con concavità verso l’alto, incompatibile con l’esistenza di un massimo.

True
False
False
False

Si consideri un campione \((x_1, \ldots, x_n)\) da una distribuzione uniforme continua \(U(0, \theta)\) con \(\theta > 0\) ignoto. Quale delle seguenti affermazioni descrive correttamente la stima di massima verosimiglianza e il comportamento dell’informazione osservata di Fisher in questo modello?

La stima di massima verosimiglianza è \(\hat{\theta}_{MV} = \bar{x}_n\), e l’informazione osservata di Fisher è \(j(\hat{\theta}) = n/\hat{\theta}^2\).La stima di massima verosimiglianza è \(\hat{\theta}_{MV} = \max_i x_i\), e l’informazione osservata di Fisher è \(j(\hat{\theta}) = n/\hat{\theta}^2\), calcolata come nel caso regolare.La stima di massima verosimiglianza non esiste perché la funzione di verosimiglianza del modello uniforme è costante in \(\theta\) e non ammette massimo.La stima di massima verosimiglianza è \(\hat{\theta}_{MV} = \max_i x_i\), e l’informazione osservata di Fisher non è definita nel senso classico perché il supporto della distribuzione dipende da \(\theta\), violando le condizioni di regolarità.

La verosimiglianza per il modello \(U(0,\theta)\) è: \[L(\theta) = \frac{1}{\theta^n}\,\mathbf{1}(\theta \geq \max_i x_i),\] funzione decrescente in \(\theta\) per \(\theta \geq \max_i x_i\) e pari a 0 altrimenti. Il massimo si trova quindi nel punto di discontinuità \(\hat{\theta}_{MV} = \max_i x_i\): la verosimiglianza è massimizzata prendendo il valore di \(\theta\) più piccolo compatibile con i dati osservati. Poiché il supporto \([0, \theta]\) dipende dal parametro, le condizioni di regolarità (che richiedono supporto fisso) non sono soddisfatte: la log-verosimiglianza non è differenziabile in \(\hat{\theta}_{MV}\) e l’informazione osservata di Fisher non è definita nel senso classico. L’opzione 2 propone la media campionaria come stimatore MV: è errato perché la verosimiglianza non ha un punto stazionario interno. L’opzione 3 individua correttamente lo stimatore ma applica ugualmente la formula dell’informazione di Fisher come se le condizioni di regolarità fossero soddisfatte. L’opzione 4 nega l’esistenza dello stimatore MV: la verosimiglianza non è costante ma strettamente decrescente per \(\theta \geq \max_i x_i\), con massimo ben definito.

False
False
False
True