python - 是否有 Numpy 或 Pandas 设置在创建 NaN 值时发出警告

Question

我花了很多时间与 Pandas 打交道，它使用 numpy 数组来存储数字。

在我的用例中，永远不应该有任何 NaN 值——它们表明出现了问题(通常是与 Pandas 相关的错误，例如错误连接的数据帧、错误加载的数据等)

如果 Pandas 或 Numpy 有一个设置，如果 NaN 值出现在数据框中的任何系列中，将立即发出警告，这将很有帮助。 (这个问题不是关于 NaN 替换或插补。只是警告。)

是的，可以在每个阶段编写大量本地检查(做这件事。现在检查你是否创建了 NaN。做另一件事。再次检查你是否创建了 NaN 等)，但那是非常冗长和低效。我想告诉 pandas 的是，如果您将 NaN 值放入数据框中，立即发出警告 - 一次，作为我 jupyter notebook 顶部的全局设置。

有谁知道是否存在执行此操作的全局设置？

Answer 1

如果你只是想发出警告，你可以使用 df.isnull().values.any() 检查你的数据框是否包含任何 NaN tehn 你可以使用 warnings 模块发出警告。

这是一个工作示例:

>>> from StringIO import StringIO 
>>> import pandas as pd 
>>> st = """ 
... col1|col2
... 1|
... 2|3 
... """
>>> df = pd.read_csv(StringIO(st),sep="|") 
>>> df.head() 
   col1  col2
0     1   NaN
1     2     3
>>> import warnings                              ^
>>> if df.isnull().values.any(): 
...     warnings.warn("there is NaN")
... 
__main__:2: UserWarning: there is NaN
>>> 

如果您正在寻找 pandas 中的常规设置，请根据源代码 here , DataFrame 类 为构造数据帧所做的检查不包括在存在 NaN 时发出警告的方法。因此，必须更新核心 Pandas 以添加它。这是 DataFrame 类完成的完整检查的摘录。

def __init__(self, data=None, index=None, columns=None, dtype=None,
             copy=False):
    if data is None:
        data = {}
    if dtype is not None:
        dtype = self._validate_dtype(dtype)

    if isinstance(data, DataFrame):
        data = data._data

    if isinstance(data, BlockManager):
        mgr = self._init_mgr(data, axes=dict(index=index, columns=columns),
                             dtype=dtype, copy=copy)
    elif isinstance(data, dict):
        mgr = self._init_dict(data, index, columns, dtype=dtype)
    elif isinstance(data, ma.MaskedArray):
        import numpy.ma.mrecords as mrecords
        # masked recarray
        if isinstance(data, mrecords.MaskedRecords):
            mgr = _masked_rec_array_to_mgr(data, index, columns, dtype,
                                           copy)

        # a masked array
        else:
            mask = ma.getmaskarray(data)
            if mask.any():
                data, fill_value = maybe_upcast(data, copy=True)
                data[mask] = fill_value
            else:
                data = data.copy()
            mgr = self._init_ndarray(data, index, columns, dtype=dtype,
                                     copy=copy)

    elif isinstance(data, (np.ndarray, Series, Index)):
        if data.dtype.names:
            data_columns = list(data.dtype.names)
            data = dict((k, data[k]) for k in data_columns)
            if columns is None:
                columns = data_columns
            mgr = self._init_dict(data, index, columns, dtype=dtype)
        elif getattr(data, 'name', None) is not None:
            mgr = self._init_dict({data.name: data}, index, columns,
                                  dtype=dtype)
        else:
            mgr = self._init_ndarray(data, index, columns, dtype=dtype,
                                     copy=copy)
    elif isinstance(data, (list, types.GeneratorType)):
        if isinstance(data, types.GeneratorType):
            data = list(data)
        if len(data) > 0:
            if is_list_like(data[0]) and getattr(data[0], 'ndim', 1) == 1:
                if is_named_tuple(data[0]) and columns is None:
                    columns = data[0]._fields
                arrays, columns = _to_arrays(data, columns, dtype=dtype)
                columns = _ensure_index(columns)

                # set the index
                if index is None:
                    if isinstance(data[0], Series):
                        index = _get_names_from_index(data)
                    elif isinstance(data[0], Categorical):
                        index = _default_index(len(data[0]))
                    else:
                        index = _default_index(len(data))

                mgr = _arrays_to_mgr(arrays, columns, index, columns,
                                     dtype=dtype)
            else:
                mgr = self._init_ndarray(data, index, columns, dtype=dtype,
                                         copy=copy)
        else:
            mgr = self._init_dict({}, index, columns, dtype=dtype)
    elif isinstance(data, collections.Iterator):
        raise TypeError("data argument can't be an iterator")
    else:
        try:
            arr = np.array(data, dtype=dtype, copy=copy)
        except (ValueError, TypeError) as e:
            exc = TypeError('DataFrame constructor called with '
                            'incompatible data and dtype: %s' % e)
            raise_with_traceback(exc)

        if arr.ndim == 0 and index is not None and columns is not None:
            if isinstance(data, compat.string_types) and dtype is None:
                dtype = np.object_
            if dtype is None:
                dtype, data = infer_dtype_from_scalar(data)

            values = np.empty((len(index), len(columns)), dtype=dtype)
            values.fill(data)
            mgr = self._init_ndarray(values, index, columns, dtype=dtype,
                                     copy=False)
        else:
            raise ValueError('DataFrame constructor not properly called!')

    NDFrame.__init__(self, mgr, fastpath=True)

因此，您需要提交功能请求以将其添加到 pandas。