分散
1次元の確率変数$X$を$n$回サンプルした結果、 $x\in R^{1 \times n}$ が得られたとき、分散の不偏推定量は、
$$
\sigma_x^2 = \frac{1}{n-1} \sum (x_i - \mu_x)^2
$$
です。ただし、 $\mu_x = \frac{1}{n} \sum x_i$ は平均です。
共分散
2つの確率変数 $X$、 $Y$の組を同時に$n$回サンプルした結果、$x, y\in R^{1 \times n}$が得られたとき、$x$と$y$の共分散は、
$$
\sigma_{x,y}^2 = \frac{1}{n-1} \sum (x_i - \mu_x)(y_i - \mu_y)
$$
です。ポイントは $(x_i,y_i)$ がペアになっていることと、次元の違う変数の組に対してスカラー値として定義されることです。
共分散行列
$d$次元の確率変数 $X$を $n$回サンプルした結果、 $x \in R^{d \times n}$ が得られたとき、 $i$行ベクトルを $x_{i,:}$とすれば、2つの次元の組についての共分散は、
$$
\sigma_{x_{i,:}, x_{j,:}} = \frac{1}{n-1} \sum_{k=1}^n (x_{i,k} - \mu_{x,i})(x_{j,k} - \mu_{x,j})^T
$$
です。ただし、 $\mu_{x,i}$は各行の平均を並べた列ベクトル$\mu_x \in R^{1\times d}$の $i$番目の成分です。これを各次元の組み合わせについて考え、 $i$行 $j$列成分が 次元$i$、 $j$の共分散である行列が共分散行列 $\Sigma$ です。
$$
\Sigma_{i,j} = \sigma_{x_{i,:}, x_{j,:}}
$$
行列全体は、全行について考えればいいので、
$$
\Sigma = \frac{1}{n-1} \sum_{k=1}^n (x_{:,k} - \mu_x)(x_{:,k} - \mu_x)^T
$$
と書けます。