Sparse coding 是不是隐藏层的神经元数量一定要比输入/出层少？

wswlll · 发表于 2015-2-3 22:06:00

RT
如果多了就没意义了吧

think__123 · 发表于 2015-2-3 22:32:00

当然可以多

click4i · 发表于 2015-2-3 23:14:00

常见的做法是隐藏层的神经元数目要比输入层多得多，不过会透过稀疏化的技巧让其中同时激活的神经元数目要比前一层少，以达到提出有用特征的目的。输出层的神经元数目是根据需要的分类数目而定。

click4i · 发表于 2015-2-4 09:12:00

回复 wswlll （3 楼）: 不是的。稀疏化的目的是让一个隐藏层同时激活的神经元数目要比前一层少以达到提出有用特征的目的。你可以把所谓的“有用特征”想成是一组可以被用来更有效的表达输入数据的新坐标。
为什么隐藏层会有转换坐标的功效？如果你知道PCA有坐标转换的效果（见上图）的话，你该也知道把原来的X轴转换到上面那条斜线时事情一下子就变简单了。碰巧autoencoder 在线性的情况下跟PCA是等价的。

为什么需要稀疏化？这是因为不稀疏化的话ANN可能会在新坐标里头产生过多（甚至于重复）的新坐标轴，结果会更麻烦。稀疏化会强迫ANN在新坐标里头产生少数且高效的新坐标轴（即是达成一种降维的效果）。一旦得到好的一组新坐标轴最后拿来做分类时自然会很高效的（见上图）。

wswlll · 发表于 2015-2-4 15:52:00

我觉得这是我要问的问题
http://stats.stackexchange.com/questions/118199/what-are-the-differences-between-sparse-coding-and-autoencoder

		自动登录	找回密码
密码			立即注册

[神经网络] Sparse coding 是不是隐藏层的神经元数量一定要比输入/出层少？

本帖子中包含更多资源