变量对调

Variable Swap

专题: Machine Learning / 机器学习
难度: L2
来源: OpenQuant

题目详情

考虑一个简单的一元线性回归。已知以下 $X$ 和 $Y$ 的取值： $(5,5), (4,0), (6,10)$

我们先回归 $Y$ 对 $X$ ，得到某个 $\beta$ 。现在改为回归 $X$ 对 $Y$ 。不做任何计算， $\beta$ 会如何变化？

Consider a simple univariate linear regression. We have the following $X$ and $Y$ values. $(5,5), (4,0), (6,10)$

We regress $Y$ onto $X$ and obtain some $\beta$ . Now, we regress $X$ onto $Y$ . Without doing any calculation, how does $\beta$ change?

解析

在简单线性回归中，斜率系数满足 $\beta_{Y \mid X} = \frac{\mathrm{Cov}(X,Y)}{\mathrm{Var}(X)}, \quad \beta_{X \mid Y} = \frac{\mathrm{Cov}(X,Y)}{\mathrm{Var}(Y)}.$

两次回归中的协方差 $\mathrm{Cov}(X,Y)$ 是相同的。由给定数据可见， $Y$ 的波动远大于 $X$ （取值为 0、5、10，而 $X$ 为 4、5、6），因此 $\mathrm{Var}(Y) > \mathrm{Var}(X).$

由于回归 $X$ 对 $Y$ 时分母更大，所以斜率系数更小。因此，当交换回归方向时， $\beta$ 会减小。

Original Explanation

In simple linear regression, the slope coefficients satisfy $\beta_{Y \mid X} = \frac{\mathrm{Cov}(X,Y)}{\mathrm{Var}(X)}, \quad \beta_{X \mid Y} = \frac{\mathrm{Cov}(X,Y)}{\mathrm{Var}(Y)}.$

The covariance between $X$ and $Y$ is the same in both regressions. From the given data, $Y$ varies much more than $X$ (values 0, 5, 10 versus 4, 5, 6), so $\mathrm{Var}(Y) > \mathrm{Var}(X).$

Since the denominator is larger when regressing $X$ onto $Y$ , the slope coefficient is smaller. Therefore, $\beta$ decreases when switching the regression direction.