python - 高效的字节乘法浮点乘法

Question

在输入中我有一个带符号的字节数组 barr(通常是小端，但这可能无关紧要)和一个 float f 来乘以 禁止。

我的方法是将 barr 转换为整数 val(使用 int.from_bytes 函数)，将其相乘，执行溢出检查并“crop"乘以 val(如果需要)，然后将其转换回字节数组。

def multiply(barr, f):
        val = int.from_bytes(barr, byteorder='little', signed=True)
        val *= f
        val = int (val)
        val = cropInt(val, bitLen = barr.__len__()*8)
        barr = val.to_bytes(barr.__len__(), byteorder='little', signed=True)
        return barr

def cropInt(integer, bitLen, signed = True):
        maxValue = (2**(bitLen-1)-1) if signed else (2**(bitLen)-1)
        minValue = -maxValue-1 if signed else 0
        if integer > maxValue:
            integer = maxValue
        if integer < minValue:
            integer = minValue
        return integer

但是，当处理大量数据时，这个过程非常慢。有没有更好、更有效的方法来做到这一点？

Answer 1

纯 Python 对任何数字计算都没有影响 - 因为由于每个数字都被视为一个对象，所以每个操作都涉及很多“幕后”步骤。

另一方面，如果您使用一组适当的第三方库，Python 可以非常有效地进行数值计算。

在您的情况下，性能很重要，您可以使用 NumPy - 用于数字处理的实际 Python 包。

有了它，转换、乘法和重铸将在 native 代码中一次完成(并且在比我更了解 NumPy 之后，可能用更少的步骤)——并且应该给你 3-4 个数量级的改进此任务的速度幅度:

import numpy as np
def multiply(all_bytes, f, bitlen, signed=True): 

    # Works for 8, 16, 32 and 64 bit integers:
    dtype = "%sint%d" % ("" if signed else "",   bitlen)
    max_value = 2 ** (bitlen- (1 if signed else 0)) - 1

    input_data = np.frombuffer(all_bytes, dtype=dtype)
    processed = np.clip(input_data * f, 0, max_value)
    return bytes(processed.astype(dtype))

请不要在这个示例中一次获取所有字节数据，而不是在传递给原始“乘法”函数时一次一个。因此，您还必须将整数的大小传递给它。

dtype = "%sint%d"% (""if signed else "", bitlen) 行创建数据类型名称，NumPy 从位数中使用传入。由于名称只是一个字符串，它根据未签名的数据类型插入一个添加或不添加“u”前缀的字符串，并将位数放在末尾。可以在以下位置检查 NumPy 数据类型:https://docs.scipy.org/doc/numpy/user/basics.types.html

运行一个包含 500000 个 8 位有符号整数的数组时，我得到了这些计时:

在 [99] 中:%time y = numpy_multiply(data, 1.7, 8)CPU 时间:用户 3.01 毫秒，系统:4.96 毫秒，总计:7.97 毫秒挂墙时间:7.38 毫秒

在 [100] 中:%time x = original_multiply(data, 1.7, 8)CPU 时间:用户 11.3 秒，系统:1.86 毫秒，总计:11.3 秒挂墙时间:11.3 秒

(这是在修改您的函数以同时对所有字节进行操作之后)- 加速了 1500 倍，正如我在初稿中所述。