4. 降维

4.1 PCA 最大方差理论 **

• 目标：最大化投影方差 $\max\omega^T\Sigma\omega,\ s.t.\omega^T\omega=1$

• 求解：a. 样本中心化；b. 协方差矩阵；c. 特征值分解；d. 前d大的特征向量

• 扩展：核主成分方法（KPCA）、等距映射、局部先行嵌入、拉普拉斯特征映射

4.2 PCA 最小平方误差理论 **

• 目标：距离平方和最小

4.3 LDA 线性判别分析 **

• 目标：最大化类间距离、最小化类内距离 $\max_w J(w)=\frac{||\omega^T(\mu_1-\mu_2)||_2^2}{D1+D2}$

  • 类间散度矩阵 $S_B=(\mu_1-\mu_2)(\mu_1-\mu_2)^T$

  • 类内散度矩阵 $S_W=\sum_{x\in C_i}(x-\mu_i)(x-\mu_i)^T$

• 求解：$S_w^{-1}S_B\omega=\lambda\omega$， $S_w^{-1}S_B$ 特征值

4.4 LDA 与 PCA **

• PCA 无监督，LDA 有监督

• e.g. PCA 语音降噪 + LDA 区分声纹；PCA 特征脸 + LDA 人脸识别