python - 对屏蔽数组的有效值调用函数

Question

我有两个 numpy 掩码数组:

>>> x
masked_array(data = [1 2 -- 4],
             mask = [False False  True False],
       fill_value = 999999)
>>> y
masked_array(data = [4 -- 0 4],
             mask = [False  True False False],
       fill_value = 999999)

如果我尝试将 x 除以 y，当其中一个操作数被屏蔽时，除法运算实际上并没有执行，所以我没有得到除法 -零误差。

>>> x/y
masked_array(data = [0.25 -- -- 1.0],
             mask = [False  True  True False],
       fill_value = 1e+20)

如果我定义自己的除法函数 div，这甚至可以工作:

>>> def div(a,b):
    return a/b

>>> div(x, y)
masked_array(data = [0.25 -- -- 1.0],
             mask = [False  True  True False],
       fill_value = 1e+20)

但是，如果我用 vectorize 包装我的函数，函数将在屏蔽值上调用，我会收到错误消息:

>>> np.vectorize(div)(x, y)
Traceback (most recent call last):
  File "<input>", line 1, in <module>
  File "/usr/lib64/python3.4/site-packages/numpy/lib/function_base.py", line 1811, in __call__
    return self._vectorize_call(func=func, args=vargs)
  File "/usr/lib64/python3.4/site-packages/numpy/lib/function_base.py", line 1880, in _vectorize_call
    outputs = ufunc(*inputs)
  File "<input>", line 2, in div
ZeroDivisionError: division by zero

有没有一种方法可以调用带有数组参数的函数，并且只在所有参数都被取消屏蔽时才执行该函数？

Answer 1

问题

直接调用该函数是可行的，因为当您调用 div(x,y) 时，div 的参数 a 和 b 成为 MaskedArrays x 和 y，a/b 的结果代码为 x.__div__(y )(或 __truediv__)。

现在，由于 x 是一个 MaskedArray，它可以智能地按照其规则对另一个 MaskedArray 执行除法。

但是，当您对其进行矢量化时，您的 div 函数不会看到任何 MaskedArrays，只会看到标量，在这种情况下是几个 int。因此，当它在第三项中尝试 a/b 时，它将是“某物”的零，并且您会收到错误。

MaskedArray 的实现似乎是基于专门为 MaskedArrays 重新实现大部分 Numpy。例如，您同时拥有 numpy.log 和 numpy.ma.log。比较在包含负值的 MaskedArray 上运行它们。两者实际上都返回一个正确的 MaskedArray，但普通的 numpy 版本也会输出一些关于除以零的提示:

In [116]: x = masked_array(data = [-1, 2, 0, 4],
     ...:              mask = [False, False,  True, False],
     ...:        fill_value = 999999)

In [117]: numpy.log(x)
/usr/bin/ipython:1: RuntimeWarning: divide by zero encountered in log
  #!/usr/bin/python3
/usr/bin/ipython:1: RuntimeWarning: invalid value encountered in log
  #!/usr/bin/python3
Out[117]: 
masked_array(data = [-- 0.6931471805599453 -- 1.3862943611198906],
             mask = [ True False  True False],
       fill_value = 999999)

In [118]: numpy.ma.log(x)
Out[118]: 
masked_array(data = [-- 0.6931471805599453 -- 1.3862943611198906],
             mask = [ True False  True False],
       fill_value = 999999)

如果你在普通列表上运行 numpy.log 版本，它将返回 nan 和 inf 无效值，而不是像 ZeroDivisionError 那样抛出错误 你得到了。

In [138]: a = [1,-1,0]

In [139]: numpy.log(a)
/usr/bin/ipython:1: RuntimeWarning: divide by zero encountered in log
  #!/usr/bin/python3
/usr/bin/ipython:1: RuntimeWarning: invalid value encountered in log
  #!/usr/bin/python3
Out[139]: array([  0.,  nan, -inf])

更简单的解决方案

有了这个，我看到了两种选择:首先，对于您列出的更简单的情况，您可以用空操作替换错误值:div 中的 1(注意数据与你的略有不同，因为有一个零你没有标记为屏蔽):

x = masked_array(data = [1, 2, 0, 4],
             mask = [False, False,  True, False],
       fill_value = 999999)
y = masked_array(data = [4, 0, 0, 4],
             mask = [False,  True, True, False],
       fill_value = 999999)
In [153]: numpy.vectorize(div)(x,y.filled(1))
Out[153]: 
masked_array(data = [0.25 2.0 -- 1.0],
             mask = [False False  True False],
       fill_value = 999999)

该方法的问题是填充的值在结果中被列为未屏蔽，这可能不是您想要的。

更好的解决方案

现在，div 可能只是一个示例，您可能想要没有“无操作”参数的更复杂的行为。在这种情况下，您可以像 Numpy 对 log 所做的那样，避免抛出异常，而是返回一个特定的值。在这种情况下，numpy.ma.masked。 div 的实现变成了这样:

In [154]: def div(a,b):
     ...:     try:
     ...:         return a/b
     ...:     except Exception as e:
     ...:         warnings.warn (str(e))
     ...:         return numpy.ma.masked
     ...:     
     ...:         

In [155]: numpy.vectorize(div)(x,y)
/usr/bin/ipython:5: UserWarning: division by zero
  start_ipython()
/usr/lib/python3.6/site-packages/numpy/lib/function_base.py:2813:     UserWarning: Warning: converting a masked element to nan.
  res = array(outputs, copy=False, subok=True, dtype=otypes[0])
Out[155]: 
masked_array(data = [0.25 -- -- 1.0],
             mask = [False  True  True False],
       fill_value = 999999)

更通用的解决方案

但也许你已经有了这个功能不想改变它，或者它是第三方的。在这种情况下，您可以使用高阶函数:

In [164]: >>> def div(a,b):
     ...:     return a/b
     ...: 

In [165]: def masked_instead_of_error (f):
     ...:     def wrapper (*args, **kwargs):
     ...:         try:
     ...:             return f(*args, **kwargs)
     ...:         except:
     ...:             return numpy.ma.masked
     ...:     return wrapper
     ...:        

In [166]: numpy.vectorize(masked_instead_of_error(div))(x,y)
/usr/lib/python3.6/site-packages/numpy/lib/function_base.py:2813:             UserWarning: Warning: converting a masked element to nan.
  res = array(outputs, copy=False, subok=True, dtype=otypes[0])
Out[166]: 
masked_array(data = [0.25 -- -- 1.0],
             mask = [False  True  True False],
       fill_value = 999999)

在上面的实现中，使用警告可能是也可能不是一个好主意。您可能还想限制为返回 numpy.ma.masked 而捕获的异常类型。

另请注意，masked_instead_of_error 已准备好用作函数的装饰器，因此您无需每次都使用它。