问答题

简答题 假设一个神经网络拥有3层的结构和ReLU激活函数。如果我们用同一个值初始化所有权重,结果会怎样?如果我们只有1层(即线性/逻辑回归)会怎样?

【参考答案】

如果所有权重的初始值都相同,则无法破坏对称性。也就是说,所有梯度都会更新成同一个值,而且神经网络将无法学习。但是,如果神......

(↓↓↓ 点击下方‘点击查看答案’看完整答案 ↓↓↓)