草庐IT

unregularised

全部标签

python - 调试神经网络

TLDR我一直在尝试在MNIST上安装一个简单的神经网络,它适用于一个小的调试设置,但是当我把它带到MNIST的一个子集时,它训练得非常快,梯度很快接近0,但是然后对于任何给定的输入,它输出相同的值,最终成本相当高。我一直在尝试故意过度拟合以确保它确实有效,但它不会在MNIST上这样做,这表明设置中存在深层问题。我已经使用梯度检查检查了我的反向传播实现,它似乎匹配,所以不确定错误在哪里,或者现在要做什么!非常感谢您提供的任何帮助,我一直在努力解决这个问题!解释我一直在尝试在Numpy中制作一个神经网络,基于这个解释:http://ufldl.stanford.edu/wiki/inde