python - 根据是否在列表中过滤python数据表的行

Question

我是使用 python 数据表的新手，这里是 tutorial我正在关注
如何过滤掉某个列中的值包含在列表中的行？
基本上这是我正在使用的代码:

    import datatable as dt
    sfr = dt.fread(os.path.join(dirName, 'Results.csv'))

sfr
Out[25]: 
         |       ioid  itemtype  date       itemid           tid  value
-------- + ----------  --------  --------  -------  ------------  -------
       0 |          1         1  7-1-2022     9015           531   0.0283
       1 |          1         1  7-1-2022     9015           532   0.0071
       2 |          1         1  7-1-2022     9016           534   0.0065
       3 |          1         1  7-1-2022     9017          1018   0.0005

我正在尝试执行以下操作

ids = [9016, 9017]
sft[dt.f.itemid.isin(ids)]

但是，我无法使语法起作用。
期望的输出是:

         |       ioid  itemtype  date       itemid           tid  value
-------- + ----------  --------  --------  -------  ------------  -------
       2 |          1         1  7-1-2022     9016           534   0.0065
       3 |          1         1  7-1-2022     9017          1018   0.0005

Answer 1

由于 Pydatatable 不明确支持对值列表进行过滤(请参阅 feature request )，因此以下解决方案可能看起来不太直观。尽管如此，它还是通过使用数据表连接函数完成了这种过滤的作用:

ids = [9016, 9017]
f = dt.Frame(itemid = ids)
sfr.key = "itemid"
sfr_filtered = f[:, :, dt.join(sfr)]

这些步骤包括:

创建一个框架(日期表)，其中包含与被过滤的列同名的单列，并在该框架内存储值列表

在被过滤的列上键控原始帧

加入帧以使用数据表连接执行过滤

不过这里有一个问题:当前连接有限制——它只是左外连接，连接列( itemid 中的 sfr 在上面的解决方案中)必须具有唯一值，否则 sfr.key = "itemid"抛出这个错误:

ValueError: Cannot set a key: the values are not unique

由于这些强有力的假设，它在 itemid 时不起作用。不包含唯一值。在这种情况下，我们反转 join 并在添加到包含列表的框架中的虚拟列上添加额外的过滤器:

ids = [9016, 9017]
f = dt.Frame(itemid = ids, dummy = [0, 0])
f.key = "itemid"
sfr_filtered = sfr[:, :, dt.join(f)][~dt.isna(dt.f.dummy), :]

此解决方案将始终有效，但由于始终连接所有行和额外过滤以删除不匹配的行，因此显然效率较低。有关 Pydatatable 连接当前状态的更多详细信息，您可以找到文档 here .
更新
为了完整起见，我添加了另一个(可以说更直接)从 this answer 借来的解决方案作者 Pasha(Pydatatable 的创建者和维护者):

import functools
import operator

filter = functools.reduce(operator.or_, (dt.f.itemid == id for id in ids))
sfr[filter, :]

直到此功能请求 https://github.com/h2oai/datatable/issues/699实现了上面显示的解决方案之一对值列表进行过滤。