协方差矩阵是半正定的

设随机向量 $X\in\mathbb{R}^d$ 的均值为 $\mu=\mathbb{E}[X]$，协方差矩阵定义为

$$\Sigma=\mathrm{Cov}(X)=\mathbb{E}[(X-\mu)(X-\mu)^T].$$

任取向量 $a\in\mathbb{R}^d$，有

$$a^T\Sigma a =a^T\,\mathbb{E}[(X-\mu)(X-\mu)^T]\,a =\mathbb{E}\big[a^T(X-\mu)(X-\mu)^T a\big] =\mathbb{E}\big[(a^T(X-\mu))^2\big] =\mathrm{Var}(a^T X)\ge 0.$$

因此对任意 $a$ 都有 $a^T\Sigma a\ge 0$，故 $\Sigma$ 为半正定矩阵。

---

英文解析

Let the mean value of the random vector $X\in\mathbb{R}^d$ be $\mu=\mathbb{E}[X]$, and the covariance matrix is defined as

$$\Sigma=\mathrm{Cov}(X)=\mathbb{E}[(X-\mu)(X-\mu)^T].$$

Optional vector $a\in\mathbb{R}^d$, with

$$a^T\Sigma a =a^T\,\mathbb{E}[(X-\mu)(X-\mu)^T]\,a =\mathbb{E}\big[a^T(X-\mu)(X-\mu)^T a\big] =\mathbb{E}\big[(a^T(X-\mu))^2\big] =\mathrm{Var}(a^T X)\ge 0.$$

Therefore, for any $a$, there is $a^T\Sigma a\ge 0$, so $\Sigma$ is a semi-positive definite matrix.