如何在神经网络的Xavier初始化中计算扇入和扇出？

  • Z时代
  • 2024-01-10
  • 分类：问答

变化我已经发现神经网络中权重的Xavier初始化，都提到了一个扇入和一个扇出;你能否告诉我们如何计算这两个参数？具体用于这两个示例：如何在神经网络的Xavier初始化中计算扇入和扇出？

1）初始化卷积层的权重，使用形状为[5,5,3,6]（宽度，高度，输入深度，输出深度）的滤波器; 2）用形状[400,120]（即，将400个输入变量映射到120个输出变量上）初始化完全连接层的权重。

谢谢！

回答：

我理解的是在进出卷积层的风扇被定义为：

fan_in = n_feature_maps_in * receptive_field_height * receptive_field_width 
fan_out = n_feature_maps_out * receptive_field_height * receptive_field_width/max_pool_area

其中receptive_field_height和receptive_field_width对应于所考虑和max_pool_area卷积层的高度的乘积和卷积层后面的最大池的宽度。

如果我错了，请纠正我。

来源：deeplearning.net

以上是 如何在神经网络的Xavier初始化中计算扇入和扇出？ 的全部内容， 来源链接： utcz.com/qa/263318.html

回到顶部