【技术创新】 ANN Online Learning

wi11_1iang

实现增量学习，在线学习的本质是如何让神经网络与一堆原图像化为等价形式，网络不应以区分为本质，而应能在特定条件下可重建每一张图或一类图为本质。特征总结与数学组合相结合表征图像的压缩性本质的网络或可实现在线学习。

wi11_1iang

人认识一个事物，总是在熟知的特征，熟知的组合框架下进行的。一头牛与一头猪都是有眼耳口鼻身，四脚站立的动物，然后各自的眼耳口鼻又不样，所以有区别。网络必须提取牛与猪共同的宏观特征形成上层的四脚动物概念。再识别狗时可利用牛与猪形成的四脚概念。

wi11_1iang

当网络提取牛与猪的共同特征形成四脚动物概念时，遇狗的图像时，验证狗是不是符合四脚动物，符合归类，概念宏观性升一级，不符合看符不符合其它宏观类概念，网络要自动形成概念的宏观等级。当有一样相当的概念级层时，识别自上而下验证归类。

394911284

我不是很懂神经网络分类，但是看了你们的讨论有个想法：

是不是我们现在的神经分类都是找“不同之处”，比如训练了30万张图片，可以给一张图片，根据它的“不同之处”判断它属于哪一种图片。

这样的话能不能实现一种找 “相同之处” 的神经网络算法，比如训练了30万张图片，可以给一张图片，根据它的 “相同之处” 输出它具有哪些“相同点”。“相同点” 就是有一些普遍意义的，比如猫和狗都有眼睛，程序识别之后，就都能输出代表“眼睛”的一个参数。

这样我们根据这些相同之处，再做判断，这个物体一般具有哪些特征，具备的越多，就越有可能是这个分类。

用这种办法根据录入的图片，提炼更多的“相同特征”，也许可能就可以实现神经网络的“再学习”了。

ieBugH

ART要解决的最基础的问题就是
“The Stability-Plasticity Dilemma and Rapid Learning Throughout Life”
即新旧知识如何能不冲突，神经网络如何能既有高可塑性又有高稳固性，为何我们能快速学习感兴趣的而对不感兴趣的快速遗忘，为什么可以通过重复多次来记忆不感兴趣的内容
http://www.scholarpedia.org/article/Adaptive_resonance_theory
Introduction里的第一条就是“The Stability-Plasticity Dilemma and Rapid Learning Throughout Life”

Pallashadow

DeepAE的思路：
L0-L1-L2是一个训练好的前馈deepANNs，现在把红色部分看作一个逆向DeepAutoencoder，L2-L1-L0-L1-L2，cost function 定义为使L2上两次的差别最小；
绿色部分为新加入的label，总的cost function 为使绿色部分的误差最小，同时照顾DeepAutoencoder部分的误差
完毕

creation_zy

　　如果需要增加新的分类，而不仅仅是在权值上进行调整那是不是可以考虑拓扑可变的自生长神经网络呢? （可参考：http://tieba.baidu.com/p/2871986064 ）将DL中的每个环节都整成可生长的？

　　另外，就视觉识别而言，脑科学家发现人脑能对一副图像同步的进行多达数十个方面的分类识别，然后基于这些基础的视觉分类信息上升为更高层的分类（如鸟、树、花等等）。
　　就个人的思考来说，我感觉到自己在看到一样东西时，在有了粗浅的分类印象后会迅速的在微观层面运用注意力对多个细节（包括明暗、色彩、形状、大小、角度、方向、转折等等）进行深度辨识如果没有这些更加精密的“作意”（唯识术语），那么我得出的结论恐怕是非常笼统的（比如能辨别出是狗，但不知道具体的细分种类）。基于这个观点，个人以为未来的高级分类机制应该是带有“信息通道”的可生长树形分类网络每个分支节点就是一个分类器，分类的结果（一般对应10-100个？）按照相似度分配相应的能量被传递到下一个层次，基于这个模式，我们才可以同一个模块完成数字、英文、汉字、猫、狗、水果、汽车、灯具等等等等不可预知的分类工作，并不会因新的学习而降低原来的分类精度。

菜菜吉他手

楼上都好专业，我来顶顶你们-v-回来我也自学这个专业吧。貌似powerfull

ieBugH

回复 click4i :以cost function为形式的稀疏编码是难以online的，如果是以竞争网络的机制实现稀疏编码online就很容易。比如（简述）：输入层L1,第二层L2...L1与L2的连接w12是随机初始化的；加载一个输入向量（不带标签），计算L2的激活强度，取出激活强度最大的神经元j，如果激活强度大于预设阀值g,使用hebb learning，使得L1到j的权重向当前输入向量靠近。
如果未达到g，则在L2新增一个神经元，权重就是当前输入向量。
如果有两个训练好的DL网络要融合，较低的几层可以这么做：从其中一个网络中逐个取出所有表征并作为另一个网络的输入，按上述方法训练即可。
到此为止只是做了特征自动提取，并没有用来分类。幸好DL分类只是最后几层用传统的分类网络，传统的分类网络以前业界是怎么online的就怎么做吧

wi11_1iang

异步改进，假设有三种网络，这三种网络分别以百分之二十，百分之三十，百分之四十的准确率判定一张图片是不是一张有狗的图片。那一张图片三个网络都判定有狗的图片，那这张图片有狗的可能性是多大？