一、梯度消失与梯度膨胀

梯度消失和梯度膨胀是深度学习中常见的问题，它们是深度学习模型训练过程中可能出现的问题。梯度消失是指在深度学习模型训练过程中，训练参数的梯度值会随着层数的增加而不断减小，最终变为 0，从而导致训练过程的停滞，甚至无法训练出有效的模型。而梯度膨胀是指在深度学习模型训练过程中，训练参数的梯度值会随着层数的增加而不断增大，从而导致模型训练过程的不稳定性，从而使模型无法训练出有效的模型。

二、6 种解决措施

1、使用激活函数：激活函数可以有效地减少梯度消失和梯度膨胀的问题，常用的激活函数有 ReLU（Rectified Linear Unit）、Leaky ReLU 和 ELU（Exponential Linear Unit）等。ReLU 函数可以有效地减少梯度消失的问题，而 Leaky ReLU 和 ELU 函数可以有效地减少梯度膨胀的问题。

2、使用正则化技术：正则化技术可以有效地减少梯度消失和梯度膨胀的问题，常用的正则化技术有 L1 正则化、L2 正则化和 Dropout 等。L1 正则化和 L2 正则化可以有效地减少梯度消失的问题，而 Dropout 可以有效地减少梯度膨胀的问题。

3、使用 Batch Normalization：Batch Normalization 是一种技术，可以有效地减少梯度消失和梯度膨胀的问题，它可以通过对输入层的输入数据进行归一化处理，从而有效地减少梯度消失和梯度膨胀的问题。

4、使用残差网络：残差网络是一种技术，可以有效地减少梯度消失和梯度膨胀的问题，它可以通过在每一层网络中加入残差连接，从而有效地减少梯度消失和梯度膨胀的问题。

5、使用 Xavier 初始化：Xavier 初始化是一种技术，可以有效地减少梯度消失和梯度膨胀的问题，它可以通过对网络的参数进行合理的初始化，从而有效地减少梯度消失和梯度膨胀的问题。

6、使用 Adam 优化器：Adam 优化器是一种技术，可以有效地减少梯度消失和梯度膨胀的问题，它可以通过调整学习率，从而有效地减少梯度消失和梯度膨胀的问题。