python - 如何在软件中应用/模拟量化？

Question

实践中如何在软件中应用/模拟量化？例如，假设我想计算如果在函数参数中使用 6 位整数值而不是使用 16 位浮点值，我将在某个函数的输出中得到多少错误。如果这对这个问题很重要，我有兴趣将量化应用于神经网络等。

我对此的天真的想法:要么以某种方式强制机器使用降低的位精度(在像Linux这样的通用操作系统上似乎不可行或容易做到，但我有兴趣知道它是否在实践中完成) )，或者通过将浮点范围映射到单个整数值来人为地模拟量化，其中该整数值代表一个量化值。

我将 C 和 python 作为标签，因为只有您想用代码回答时我才能理解这些语言。

Answer 1

一般有三种方法:

1. 分析
2. 模拟
3. 测试

要进行分析，当然，您必须了解计算，并且是一名熟练的数学家。

要进行模拟，您仍然必须了解计算，因为您需要用模拟语言重新编写它，但您不需要那么擅长数学;-)

测试是最简单的，因为您既不需要了解计算，也不需要深厚的数学技能。在你的情况下，这应该是非常微不足道的:因为只有 16 位参数，你可以通过 2^16 x 2^16 = 2^32 次测试迭代来测试 2 个参数的所有组合...眨眼间在现代处理器上。使用 16 位 float 与 6 位整数比较结果，并保留一些简单的统计数据(平均误差、最大误差等)。如果您有两个以上的参数，您可以通过尝试大量随机输入来节省详尽测试的时间，但其他方面则采用相同的方法。