menu

2021-06-07 记事

2021-06-07 记事

# 数据归一化与标准化

  1. 什么是数据归一化?

归一化(标准化)可以定义为:归一化就是要把你需要处理的数据经过处理后(通过某种算法)限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便,其次是保证模型运行时收敛加快。

归一化和标准化的区别:

简单来说归一化的分母是大于等于标准化的分母的,且归一化的分子是小于分母,故归一化是把x限制在[0,1]之间,而标准化没有限制,且对噪点不敏感

  1. 为什么要进行数据归一化?

取消量纲 使得剃度始终朝着最小值的方向前进 少走弯路 加速收敛

若样本x的一个特征A是从10000-100000,另一个特征B是从0.1-1,这样训练神经网络时候会导致B的作用非常小,这是不希望看到的。

同时这样会导致求偏导时A的参数变化大,B的参数变化小,这样会导致lost最小化是不停的走弯路,浪费时间 ———————————————— 版权声明:本文为CSDN博主「csdn_black」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。 原文链接:https://blog.csdn.net/CSDN_Black/article/details/81014781

归一化层,目前主要有这几个方法,Batch Normalization(2015年)、Layer Normalization(2016年)、Instance Normalization(2017年)、Group Normalization(2018年)、Switchable Normalization(2018年)。

编辑