搜索
您的当前位置:首页正文

第二章 Fisher‘s Linear Discriminent Analysis(FDA)

来源:榕意旅游网
  • FDA是一种降维方法
  • 考虑类别,将数据投影到能最大限度分开数据的方向上

假设和符号

假设有两个类别
y ∈ { 0 , 1 } y\in \{0, 1\} y{ 0,1},
X = [ x 1 , … , x n ] d ∗ n X=[x_1,\dots,x_n]_{d*n} X=[x1,,xn]dn,
Y = [ y 1 , … , y n ] 1 ∗ n Y=[y_1,\dots,y_n]_{1*n} Y=[y1,,yn]1n,
我们要把所有的点映射到一个方向 w w w上, z = w T x z=w^Tx z=wTx

假设 μ 0 \mu_0 μ0是一类的均值, μ 1 \mu_1 μ1是另一类的均值。 μ 0 = 1 n 0 ∑ i : y i = 0 x i , μ 1 = 1 n 1 ∑ i : y i = 1 x i \mu_0=\frac{1}{n_0}\sum_{i:y_i=0}x_i,\mu_1=\frac{1}{n_1}\sum_{i:y_i=1}x_i μ0=n01i:yi=0xi,μ1=n11i:yi=1xi.

类间分散

使类间尽量分散,就是最大化下面的值:
max ⁡ w   ( w T μ 0 − w T μ 1 ) 2 \max_w \ (w^T\mu_0-w^T\mu_1)^2 wmax (wTμ0wTμ1)2
等于
max ⁡ w   w T ( μ 0 − μ 1 ) ( μ 0 − μ 1 ) T w \max_w \ w^T(\mu_0-\mu_1)(\mu_0-\mu_1)^Tw

因篇幅问题不能全部显示,请点此查看更多更全内容

Top