知识

计算机图形学和视觉

引用到线性代数矩阵 | 变换矩阵

投影部分需要等到图形学方面推进后统一形成文档.

机器学习

附加内容线性模型

线性模型具有可解释性

• 把吸入，给添加一个维度齐次表达

引入正则化

联系分类标记与线性回归模型输出

对数几率回归的优势

• 无需事先假设数据分布
• 得到类别的近似概率预测
• 可直接应用现有数值优化算法求解最优解

线性判别分析

注意到 最大化目标的分子分母都是关于的二次项，因此其解与的长度无关，只与其方向有关，不失一般性，令,则问题等价于

由拉格朗日乘子法，上式等价于

其中是拉格朗日乘子，注意到的方向恒为,不妨令

这是因为中的与相乘为标量.

回代则得到:

考虑到数值解的稳定性，实践中通常对进行奇异值分解，即,这里是一个实对角矩阵，其对角线上的元素是的奇异值,然后再由得到

值得一提的是,LDA可从贝叶斯决策理论的角度阐释，并可证明，当两类数据同先验、满足高斯分布且协方差相等时，LDA可达到最优分类.

先将LDA推广到多分类任务中:

假定存在个类，且第类示例数位,我们先定义“全局散度矩阵”

其中是所有示例的均值向量，将类内散度矩阵重定义为每个类别的散度矩阵之和，即

其中

进一步得到

多分类的LDA常见的实现是采用优化目标

其中, 表示矩阵的迹(trace)，上式可通过如下广义特征值问题求解：

的闭式解则是的个最大广义特征值所对应的特征向量组成的矩阵.

若将视为一个投影矩阵，则多分类LDA将样本投影到维空间，通常远小于数据原有的属性数，于是可以通过这个投影点来减小样本点的维数，且投影过程中使用了类别信息，因此LDA也常被视为一种经典的监督降维技术.

线性代数

词条补充线性代数 | 向量 (opens new window)

向量的表示

一个向量可以用或表示，或者用起始点到目标点的线段表示

• 向量拥有长度和方向，但没有固定起始点
• 转化为单位向量

向量的运算

• 点乘
• 叉乘

想法

• 还是随时归档，随时记录材料吧，把时间统一拉到周末去归档，其实会遇到材料不足，指引混乱，链接条目不存在的情况.
• 就还是先新建好条目与归档材料，然后在材料足够重写词条的情况下去归档.