请选择 进入手机版 | 继续访问电脑版

人工智能论坛

 找回密码
 立即注册
查看: 1381|回复: 4

[神经网络] Sparse coding 是不是隐藏层的神经元数量一定要比输入/出层少?

[复制链接]
发表于 2015-2-3 22:06:00 | 显示全部楼层 |阅读模式
RT
如果多了就没意义了吧
回复

使用道具 举报

发表于 2015-2-3 22:32:00 | 显示全部楼层
当然可以多
回复 支持 反对

使用道具 举报

发表于 2015-2-3 23:14:00 | 显示全部楼层
常见的做法是隐藏层的神经元数目要比输入层多得多,不过会透过稀疏化的技巧让其中同时激活的神经元数目要比前一层少,以达到提出有用特征的目的。输出层的神经元数目是根据需要的分类数目而定。
回复 支持 反对

使用道具 举报

发表于 2015-2-4 09:12:00 | 显示全部楼层
回复 wswlll (3 楼): 不是的。稀疏化的目的是让一个隐藏层同时激活的神经元数目要比前一层少以达到提出有用特征的目的。 你可以把所谓的“有用特征”想成是一组可以被用来更有效的表达输入数据的新坐标。
为什么隐藏层会有转换坐标的功效?如果你知道PCA有坐标转换的效果(见上图)的话,你该也知道把原来的X轴转换到上面那条斜线时事情一下子就变简单了。碰巧autoencoder 在线性的情况下跟PCA是等价的。

为什么需要稀疏化?这是因为不稀疏化的话ANN可能会在新坐标里头产生过多(甚至于重复)的新坐标轴,结果会更麻烦。稀疏化会强迫ANN在新坐标里头产生少数且高效的新坐标轴(即是达成一种降维的效果)。一旦得到好的一组新坐标轴最后拿来做分类时自然会很高效的(见上图)。


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复 支持 反对

使用道具 举报

 楼主| 发表于 2015-2-4 15:52:00 | 显示全部楼层
我觉得这是我要问的问题
http://stats.stackexchange.com/questions/118199/what-are-the-differences-between-sparse-coding-and-autoencoder
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|积分充值|小黑屋|手机浏览|人工智能实验室 ( 苏ICP备12079930号

GMT+8, 2017-10-23 19:33 , Processed in 0.184789 second(s), 22 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表