ART要解决的最基础的问题就是
“The Stability-Plasticity Dilemma and Rapid Learning Throughout Life”
即新旧知识如何能不冲突,神经网络如何能既有高可塑性又有高稳固性,为何我们能快速学习感兴趣的而对不感兴趣的快速遗忘,为什么可以通过重复多次来记忆不感兴趣的内容
http://www.scholarpedia.org/article/Adaptive_resonance_theory
Introduction里的第一条就是“The Stability-Plasticity Dilemma and Rapid Learning Throughout Life”
DeepAE的思路:
L0-L1-L2是一个训练好的前馈deepANNs,现在把红色部分看作一个逆向DeepAutoencoder,L2-L1-L0-L1-L2,cost function 定义为使L2上两次的差别最小;
绿色部分为新加入的label,总的cost function 为使绿色部分的误差最小,同时照顾DeepAutoencoder部分的误差
完毕