Scomposizione della varianza nella regressione lineare

matteos43

Quando si applica una regressione lineare, la devianza totale (TSS, dall’inglese “total sum of square”), che rappresenta la somma degli scarti dalla media al quadrato, può essere divisa in due fattori distinti:

  • il primo, chiamato anche devianza non spiegata, rappresenta la varianza dei valori residui del modello, ovvero la devianza di ciò che il modello non riesce a spiegare (ESS, dall’inglese “error sum of square”);
  • il secondo, chiamato anche devianza spiegata rappresenta la devianza del modello stesso (RSS, dall’inglese “regression sum of square”).

Questa scomposizione è molto utile per capire quanto effettivamente il modello riesca a spiegare della composizione dei dati. Permette infatti di costruire un indice molto importante, l’R^2 di Pearson, definito come il rapporto tra la devianza spiegata e la devianza totale. Questo indice varia tra 0 e 1. Se assume valore pari a 0, significa che il modello non riesce a spiegare nulla della variabilità dei dati; se invece assume valore pari a 1 significa che il modello prevede perfettamente tutti i dati osservati (i valori realmente osservati saranno quindi distribuiti esattamente sulla retta di regressione).

Si può dimostrare che vale questa scomposizione con dei semplici passaggi algebrici. Ricordando che la media dei valori osservati coincide con la media dei valori teorici, possiamo scrivere:

TSS = \sum_{i = 1}^{n} (y_i - \bar{y})^2 = \sum_{i = 1}^{n} (y_i - \hat{y}_i + \hat{y}_i - \bar{y})^2 = = \sum_{i = 1}^{n} (y_i - \hat{y}_i)^2 + \sum_{i = 1}^{n} (\hat{y}_i - \bar{y})^2 + 2 \sum_{i = 1}^{n} (y_i - \hat{y}_i)(\hat{y}_i - \bar{y})

Il terzo termine della scomposizione si annulla, infatti:

\hat{y}_i - \bar{y} = \beta(x_i - \bar{x}) 2 \sum_{i = 1}^{n} (y_i - \hat{y}_i)(\hat{y}_i - \bar{y}) = 2 \beta \sum_{i = 1}^{n} (y_i - \hat{y}_i)(x_i - \bar{x})

Che coincide esattamente con le derivate parziali poste uguali a 0 nel calcolo dei coefficienti della retta di regressione.

Una particolarità dell’indice R^2 è che nella regressione lineare, coincide esattamente con il quadrato dell’indice di correlazione. Questo è facilmente dimostrabile attraverso i seguenti passaggi:

R^2 = \frac{RSS}{TSS} = \frac{\sum_{i = 1}^{n} (y_i - \hat{y}_i)^2}{n\sigma ^2_y} = \frac{\sum_{i = 1}^{n} [\beta(x_i - \hat{x}_i)]^2}{n\sigma ^2_y} = = \frac{\sigma{xy}^2}{(\sigma_{x}^2)^2} \cdot \frac{\sigma_{x}^2}{\sigma_{y}^2} = \frac{\sigma^2_{xy}}{\sigma{x}^2 \sigma{y}^2} = r^2

Tutto questo ragionamento può naturalmente essere applicato anche alla varianza, dividendo la devianza per n.

Lascia un commento