python - 训练时的位精度如何影响 DNN 的准确性 - 支持量化类型推理的库

Question

我想检查位精度如何影响 DNN 的准确性。你知道任何 C/C++/Python 库吗这不需要大量的返工来支持量化类型的推理吗？例如，我想将所有操作数(权重、激活、误差和梯度)设置为 8/16/32 位精度，并在测试后检查每个精度的准确性。

Answer 1

在 PyTorch (Python) 中，您可以设置张量的数据类型，例如:

torch.tensor(np.array([[1, 2, 3], [4, 5, 6]]), dtype=torch.HalfTensor)  # 16 bit FP

它支持大多数数据类型，请参阅文档 here请注意，并非所有 GPU 都支持所有数据类型，因此您可能应该坚持使用 CPU 执行。

编辑:

转换图层:nn.Linear(10, 10).double() 或设置默认 dtype torch.set_default_dtype() ref