独立成分分析
From Ufldl
(→概述) |
(→标准正交ICA) |
||
Line 37: | Line 37: | ||
通过观察可知,约束<math>WW^T = I</math>隐含着另外两个约束: | 通过观察可知,约束<math>WW^T = I</math>隐含着另外两个约束: | ||
- | + | 第一,因为要学习到一组标准正交基,所以基向量的个数必须小于输入数据的维度。具体来说,这意味着不能像通常在[[Sparse Coding: Autoencoder Interpretation | 稀疏编码]]中所做的那样来学习得到超完备基(over-complete bases)。 | |
- | + | 第二,数据必须经过无正则[[Whitening | ZCA白化]](也即,<math>\epsilon</math>设为0)。(为什么必须这样做?见[[TODO]]) | |
因此,在优化标准正交ICA目标函数之前,必须确保数据被白化过,并且学习的是一组不完备基(under-complete basis)。 | 因此,在优化标准正交ICA目标函数之前,必须确保数据被白化过,并且学习的是一组不完备基(under-complete basis)。 | ||