线性回归：OLS 系数与方差、$R^2$、调整 $R^2

OLS 系数：在线性模型 $y=X\beta+\varepsilon$（含截距可把 1 列并入 $X$）下，最小二乘解为

$$\hat\beta=(X^TX)^{-1}X^Ty,$$

前提是 $X^TX$ 可逆。

系数方差：若误差满足 $\mathbb{E}[\varepsilon\mid X]=0$、$\mathrm{Var}(\varepsilon\mid X)=\sigma^2 I$（同方差、独立），则

$$\mathrm{Var}(\hat\beta\mid X)=\sigma^2 (X^TX)^{-1}.$$

实际中用残差方差估计 $\sigma^2$，并由对角元得到每个系数的标准误。

$R^2$：衡量拟合优度

$$R^2=1-\frac{\mathrm{SSE}}{\mathrm{SST}}=\frac{\mathrm{SSR}}{\mathrm{SST}},$$

其中 SSE 为残差平方和，SST 为总平方和。加入自变量不会降低 $R^2$。

调整 $R^2$：惩罚加入过多自变量

$$\bar R^2 = 1-\frac{\mathrm{SSE}/(n-p)}{\mathrm{SST}/(n-1)},$$

其中 $n$ 为样本数，$p$ 为参数个数（含截距）。

Ridge vs LASSO：

• Ridge（L2）： $$\min_\beta \|y-X\beta\|_2^2+\lambda\|\beta\|_2^2$$ 使系数连续收缩、降低方差，但通常不会把系数压到严格 0。

• LASSO（L1）： $$\min_\beta \|y-X\beta\|_2^2+\lambda\|\beta\|_1$$ 倾向于产生稀疏解（部分系数被压到 0），可做变量选择。

两者都是通过引入偏差换取方差下降（bias-variance tradeoff），$\lambda$ 越大收缩越强。