Pytorch随机种子

最近在做比赛的时候，遇到了一个最好结果，但是之后无论怎样都复现不出来最好结果了。猜测是不是跟Pytorch中的随机种子有关。

训练过程

在训练过程中，若相同的数据数据集，相同的训练集、测试集划分方式，相同的权重初始化，但是每次训练结果不同，可能有以下几个原因：

Dropout的存在
Pytorch、Python、Numpy中的随机种子没有固定
数据预处理、增强方式采用了概率，若没有设置固定的随机种子，结果可能不同。例如常用数据增强库albumentations就采用了Python的随机产生器。
训练数据集被随机打乱了顺序
向上采样和插值函数/类的向后是不确定的(Pytorch的问题)

另外，在Pytorch官方文档中说明了在Pytorch的不同提交、不同版本和不同平台上，不能保证完全可重现的结果。此外，即使使用相同的种子，因为存在不同的CPU和GPU，结果也不能重现。

但是对于一个特定的平台和PyTorch发行版上对您的特定问题进行确定性的计算，需要采取几个步骤。在can’t reproduce results even set all random seeds说明了两种解决方式：

can’t reproduce results even set all random seeds#7068 (comment1)建议采用下面方式解决：

在运行任何程序之前写入下面代码（可以放在主代码的开头）

torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.cuda.manual_seed_all(seed)  # if you are using multi-GPU.
np.random.seed(seed)  # Numpy module.
random.seed(seed)  # Python random module.
torch.manual_seed(seed)
torch.backends.cudnn.benchmark = False
torch.backends.cudnn.deterministic = True

在Pytorch的DataLoader函数中填入为不同的work设置初始化函数，确保您的dataloader在每次调用时都以相同的顺序加载样本（随机种子固定时）。如果进行裁剪或其他预处理步骤，请确保它们是确定性的。
1
2
3
def _init_fn(worker_id):
np.random.seed(int(seed)
trainloader = DataLoader(trainset, batch_size=batch_size, shuffle=True, num_workers=num_workers, pin_memory=True, worker_init_fn=_init_fn)
向上采样和插值函数/类的向后是不确定的(请参见此处)。这意味着，如果你在训练图中使用这样的模块，无论你做什么，都永远不会得到确定性的结果。torch.nn.ConvTranspose2d函数是不确定的，除非你使用torch.backends.cudnn.deterministic = True(原文中说you can try to make the operation deterministic ... by setting torch.backends.cudnn.deterministic = True，所以这样做是否能够得到正确结果也是待定的)。

在can’t reproduce results even set all random seeds#7068 (comment2)建议采用下面方式解决：在运行任何程序之前写入下面代码（可以放在主代码的开头）

def seed_torch(seed=1029):
    random.seed(seed)
    os.environ['PYTHONHASHSEED'] = str(seed)
    np.random.seed(seed)
    torch.manual_seed(seed)
    torch.cuda.manual_seed(seed)
    torch.cuda.manual_seed_all(seed) # if you are using multi-GPU.
    torch.backends.cudnn.benchmark = False
    torch.backends.cudnn.deterministic = True

seed_torch()

测试过程

相同的权重，相同的测试数据集，结果不同，可能有以下几个原因：

未设定eval()模式，因为模型中的Dropout和Batchnorm存在，导致结果不固定
Pytorch、Python、Numpy中的随机种子没有固定，可能运行时依赖的一些第三方库有随机性
数据预处理方式中含有概率
向上采样和插值函数/类的向后是不确定的(Pytorch的问题)

代码随机种子的设定

有的时候，不同的随机种子对应的神经网络结果不同，我们并不想固定随机种子，使其能够搜索最优结果。但是又想能够根据复现最优结果，所以我们需要每次运行代码都根据当前时间设定不同的随机种子，并将随机种子保存下来。

可以使用下面代码产生随机种子，用于固定Pytorch、Python、Numpy中的随机种子，你可以将这个值保存到特定的文件中，用于之后使用。

1	seed = int(time.time() * 256)

Python默认随机种子

首先，确定Python随机模块所在位置

import random
random.__file__

Out[1]: '/home/lab3/anaconda3/envs/mxq/lib/python3.5/random.py'

例如，我这里的路径为/home/zdaiot/miniconda3/lib/python3.7/random.py。打开该文件，可以看到默认生成的随机种子采用如下方式：

if a is None:
    try:
        # Seed with enough bytes to span the 19937 bit
        # state space for the Mersenne Twister
        a = int.from_bytes(_urandom(2500), 'big')
    except NotImplementedError:
        import time
        a = int(time.time() * 256) # use fractional seconds

也就是当没有给定随机种子的话，则此方法尝试使用OS提供的默认随机生成器，如果没有，则使用当前时间作为种子值。那么_urandom是什么呢？我们继续进行探索。

from os import urandom as _urandom
int.from_bytes(_urandom(2500), 'big')

Out[1]:3505608205731801289834766100333723215756299120066189061262051179363208388285372070948470205372314284582974570110...

上述代码得到了长度为2500的一串数字，这里我只给出了部分数字。这个随机数是由系统基于硬件中断给出的，硬件中断是非常随机的(它包括硬盘读取的中断、由用户键入的按键、移动鼠标等)，所以已经很接近随机了。