python - 将装饰器的函数传递给 Python RQ

Question

如何将装饰器的函数传递给作业？

我有一个装饰器可以使用该函数运行作业。

@job
def queueFunction(passedFunction, *args, **kwargs):
    # Do some stuff
    passedFunction(*args, **kwargs)

def myDecorator(async=True):
    def wrapper(function):
        def wrappedFunc(*args, **kwargs):
            data = DEFAULT_DATA
            if async:
                queueFunction.delay(function, *args, **kwargs)
            else:
                data = queueFunction(function, *args, **kwargs)
            return data
        return wrappedFunc
    return wrapper

我在尝试使用它时遇到错误。

Can't pickle <function Model.passedFunction at 0x7f410ad4a048>: it's not the same object as modelInstance.models.Model.passedFunction

使用 Python 3.4

Answer 1

发生的情况是您将原始函数(或方法)传递给 queueFunction.delay() 函数，但这与限定名称所说的函数不同。

为了在 worker 中运行函数，Python RQ 使用 pickle module序列化函数及其参数。但是函数(和类)被序列化为可导入的名称，并且在反序列化时 pickle 模块只是导入记录的名称。但它确实首先检查这将导致正确的对象。因此，在 pickling 时，会测试限定名称以仔细检查它是否会生成完全相同的对象。

如果我们使用 pickle.loads 作为示例函数，那么大致会发生这样的事情:

>>> import pickle
>>> import sys
>>> sample_function = pickle.loads
>>> module_name = sample_function.__module__
>>> function_name = sample_function.__qualname__
>>> recorded_name = f"{module_name}.{function_name}"
>>> recorded_name
'_pickle.loads'
>>> parent, obj = sys.modules[module_name], None
>>> for name in function_name.split("."):  # traverse a dotted path of names
...     obj = getattr(parent, name)
...
>>> obj is sample_function
True

注意 pickle.loads 实际上是 _pickle.loads；这并不重要，但重要的是可以访问 _pickle 并且它有一个可以使用限定名称找到的对象，而且它仍然是同一个对象。这甚至适用于类的方法 (modulename.ClassName.method_name)。

但是当您装饰一个函数时，您可能会替换那个函数对象:

>>> def decorator(f):
...     def wrapper(*args, **kwargs):
...         return f, f(*args, **kwargs)
...     return wrapper
...
>>> @decorator
... def foo(): pass
...
>>> foo.__qualname__
'decorator.<locals>.wrapper'
>>> foo()[0].__qualname__  # original function
'foo'

请注意，装饰器结果与原始名称有很大不同! Pickle 无法将其映射回装饰器结果或原始函数。

您将原始的、未修饰的函数传递给 queueFunction.delay()，它的限定名称将与您替换它的 wrappedFunc() 函数的名称不匹配和;当 pickle 尝试导入在该函数对象上找到的完全限定名称时，它会找到 wrappedFunc 对象，这不是同一个对象。

有几种方法可以解决这个问题，但最简单的方法是将原始函数作为属性存储在包装器上，并重命名它的限定名称以匹配。这使得原始功能可用

你必须使用他 @functools.wraps()实用装饰器将原始装饰函数中的各种属性复制到包装函数中。这包括原始名称。

这是一个改变原始函数限定名称的版本:

from functools import wraps

def myDecorator(async_=True):
    def wrapper(function):
        @wraps(function)
        def wrappedFunc(*args, **kwargs):
            data = DEFAULT_DATA
            if async:
                queueFunction.delay(function, *args, **kwargs)
            else:
                data = queueFunction(function, *args, **kwargs)
            return data

        # make the original available to the pickle module as "<name>.original"
        wrappedFunc.original = function
        wrappedFunc.original.__qualname__ += ".original"

        return wrappedFunc
    return wrapper

@wraps(function) 装饰器确保 wrappedFunc.__qualname__ 被设置为 function，所以如果 function 被命名为 foo，所以现在是 wrappedFunc 函数对象。 wrappedFunc.original.__qualname__ += ".original" 语句然后将 wrappedFunc.original 的限定名称设置为 foo.original，这就是pickle 又能找到它的确切位置!

注意:我将 async 重命名为 async_ 以使上述代码在 Python 3.7 及更高版本上工作；从 Python 3.7 开始 async is a reserved keyword .

我还看到您正在决定在装饰时运行同步或异步的东西。在那种情况下，我会重写它，以便在您每次调用该函数时不检查 aync_ bool 标志。只需返回不同的包装器:

from functools import wraps

def myDecorator(async_=True):
    def decorator(function):
        if async_:
            @wraps(function)
            def wrapper(*args, **kwargs):
                queueFunction.delay(wrappedFunc.original, *args, **kwargs)
                return DEFAULT_DATA

            # make the original available to the pickle module as "<name>.original"
            wrapper.original = function
            wrapper.original.__qualname__ += ".original"
        else:
            @wraps(function)
            def wrapper(*args, **kwargs):
                return queueFunction(function, *args, **kwargs)

        return wrapper
    return decorator

我还重命名了各种内部函数； myDecorator 是一个装饰器工厂，它返回实际的装饰器，装饰器返回包装器。

无论哪种方式，结果都是现在 .original 对象可以被 pickle 了:

>>> import pickle
>>> @myDecorator(True)
... def foo(): pass
...
>>> foo.original
<function foo.original at 0x10195dd90>
>>> pickle.dumps(foo.original, pickle.HIGHEST_PROTOCOL)
b'\x80\x04\x95\x1d\x00\x00\x00\x00\x00\x00\x00\x8c\x08__main__\x94\x8c\x0cfoo.original\x94\x93\x94.'