单选题 使用以下哪个激活函数可能出现死亡神经元问题?
A、ReLU函数
B、LeakyReLU函数
C、ELU函数
D、Tanh函数
单选题 激活函数不应该具有如下哪个性质?
A、其导函数的值域在合适区间内
B、单调递增
C、连续并可导的线性函数
D、激活函数的导函数要尽可能简单
单选题 如下方案不用于缓解梯度消失问题?
A、选用具有零中心化性质的激活函数
B、选用能自适应调整学习率的优化器
C、选用科学的模型初始化策略
D、使用残差连接(跳跃连接)
单选题 如下哪个函数不是零中心化函数?
A、Tanh函数
B、Sin函数
C、ELU函数
D、Logistic函数
单选题 一个具有 5 维输入,使用 Sigmoid 函数作为激活函数,带偏置项的人工神经元,具有几个参数?
单选题 ReLU激活函数的计算公式是什么?
A、1/(1+exp(-x))
B、(exp(x)-exp(-x))/(exp(x)+exp(-x))
C、max(0,x)
D、log(1+exp(x))
单选题 使用交叉熵损失函数优化神经网络,应该使用如下哪个函数将网络输出转化为类别的预测概率?
A、归一化函数
B、标准化函数
C、Softmax函数
D、Softplus函数
单选题 梯度消失问题不会导致什么结果?
A、模型训练停滞,损失函数值不下降
B、模型收敛到次优解
C、浅层参数无法更新
D、优化遇到数值问题,模型参数变为NaN