矩阵

矩阵是对向量的线性操作，简单来说这种线性操作都可以理解为投影或者坐标系的变化。

方阵

一般地并不改变矩阵的维度，而是在相同的维度下对矩阵进行缩放和旋转。

主对角线元素即对某个方向的缩放，而非主对角线元素则是对矩阵的旋转。

如果矩阵满秩（rank），如果原来的向量所有元素非0，则变换后的向量的所有元素亦非0，且变换后的向量的模值为原始模值乘以矩阵的行列式。 如果矩阵不满秩，则变换后的向量的非0元素的个数与矩阵的秩相等。

而矩阵的正定（positive define）则理解为，对原始的任意矩阵进行变换后，其方向的变化在各个维度上都不超过90度。对应了标量中正数的概念，即任何一个数乘以正数，其符号不变。

非方阵

如果一个矩阵不是方阵，则会对原始矩阵进行投影，仅对于矩阵左乘以向量，如果矩阵的行数大于列数，则会像更高维度上投影，否则会向更低维度上投影。 但需要注意的是，矩阵的秩总是小于或者等于矩阵行列维度中较小的一个，因此即使是向更高维度上投影，原来向量的维度虽然增加了，但对于多个高维度中的点所组成的集合仍然是可原来的一个超平面。