ann神经网络的costFunction求偏导方法 - Blog of Mathias
Blog of Mathias Web Securtiy&Deep Learning
ann神经网络的costFunction求偏导方法
发表于: | 分类: 技术文章 | 评论:0 | 阅读:302
  • 这里一开始看ufldl的讲义.完全不能懂。后来一直推理了很久。 折腾了整整一天,都不是很明确
    直到后来按照一位csdn菊苣的思路去理解,才最终解出。
    每层的实际输入应该是X=theta*Y+b
    这里的Y是上一层的输出.而本层X(l+1)=wY(l)+b
    这样就初步得到了一个递推关系
    由于我们定义costFunction中.没有直接与theta有关系,中间复合了非常多层激发函数
    怎么办呢。我们通过三层复合求导来解决。
    并且 该问题的核心就是:定义delta残差为dJ/dX,这反映了某个节点对最终误差函数0的贡献
    一定记住X的实际含义是对于整个激励函数来说的输入
    然后是自己的渣渣笔记(因为是给自己用的,所以偷懒没用latex,字如其人,很丑)
    1.jpg

2.jpg

最后那里有点笔误. 应该是dJ(theta)/d(theta)
对于y'=f(x)'的求导,由于是sigmoid函数,结果应该是y(1-y)

还不快抢沙发

添加新评论