python-polars - 在Python中，极性将json字符串列转换为字典以进行过滤

Question

您好，有一个数据框，其中有一个名为标签的列，它是一个 json 字符串。

我想在标签列上过滤此数据框，以便它仅包含存在特定标签键或标签具有特定值的行。

我想我可以做一个字符串包含匹配，但认为首先将 json 转换为字典并使用 has_key 等可能会更稳健？

在 python Polars 中执行此操作的推荐方法是什么？

谢谢

Answer 1

Polars 没有通用字典类型。相反，字典作为结构导入/映射。每个字典键都映射到一个结构体“字段名称”，对应的字典值成为该字段的值。

但是，创建 Series 类型结构有一些限制。其中两个是:

• 所有结构必须具有相同的字段名称。
• 字段名称必须按相同顺序列出。

在您的描述中，您提到has_key，这表明字典不会具有相同的键。因此，从字典创建结构列将不起作用。 (有关更多信息，您可以查看此Stack Overflow response。)

json_path_match

我建议使用json_path_match ，它根据一些简单的 JSONPath syntax 提取值。使用 JSONPath 语法，您应该能够查询某个键是否存在，并检索它的值。 (对于简单的非嵌套字典，这些是相同的查询。)

例如，让我们从以下数据开始:

import polars as pl

json_list = [
    """{"name": "Maria",
        "position": "developer",
        "office": "Seattle"}""",
    """{"name": "Josh",
        "position": "analyst",
        "termination_date": "2020-01-01"}""",
    """{"name": "Jorge",
        "position": "architect",
        "office": "",
        "manager_st_dt": "2020-01-01"}""",
]

df = pl.DataFrame(
    {
        "tags": json_list,
    }
).with_row_count("id", 1)
df

shape: (3, 2)
┌─────┬────────────────────┐
│ id  ┆ tags               │
│ --- ┆ ---                │
│ u32 ┆ str                │
╞═════╪════════════════════╡
│ 1   ┆ {"name": "Maria",  │
│     ┆         "posit...  │
├╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 2   ┆ {"name": "Josh",   │
│     ┆         "positi... │
├╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 3   ┆ {"name": "Jorge",  │
│     ┆         "posit...  │
└─────┴────────────────────┘

查询值:

df.with_columns([
    pl.col('tags').str.json_path_match(r"$.name").alias('name'),
    pl.col('tags').str.json_path_match(r"$.office").alias('location'),
    pl.col('tags').str.json_path_match(r"$.manager_st_dt").alias('manager start date'),
])

shape: (3, 5)
┌─────┬────────────────────┬───────┬──────────┬────────────────────┐
│ id  ┆ tags               ┆ name  ┆ location ┆ manager start date │
│ --- ┆ ---                ┆ ---   ┆ ---      ┆ ---                │
│ u32 ┆ str                ┆ str   ┆ str      ┆ str                │
╞═════╪════════════════════╪═══════╪══════════╪════════════════════╡
│ 1   ┆ {"name": "Maria",  ┆ Maria ┆ Seattle  ┆ null               │
│     ┆         "posit...  ┆       ┆          ┆                    │
├╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 2   ┆ {"name": "Josh",   ┆ Josh  ┆ null     ┆ null               │
│     ┆         "positi... ┆       ┆          ┆                    │
├╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 3   ┆ {"name": "Jorge",  ┆ Jorge ┆          ┆ 2020-01-01         │
│     ┆         "posit...  ┆       ┆          ┆                    │
└─────┴────────────────────┴───────┴──────────┴────────────────────┘

注意null 值。这是未找到键时的返回值。我们将将此事实用于您提到的 has_key 功能。

此外，如果我们查看“location”列，您会发现 json_path_match 确实区分了空字符串 "office":"" 和键没有找到..

要过滤某个键是否存在，我们只需过滤 null 值即可。

df.filter(
    pl.col('tags').str.json_path_match(r"$.manager_st_dt").is_not_null()
)

shape: (1, 2)
┌─────┬───────────────────┐
│ id  ┆ tags              │
│ --- ┆ ---               │
│ u32 ┆ str               │
╞═════╪═══════════════════╡
│ 3   ┆ {"name": "Jorge", │
│     ┆         "posit... │
└─────┴───────────────────┘

json_path_match 也适用于嵌套结构。 (有关详细信息，请参阅语法页面。)

但是，有一个限制:json_path_match 将仅返回查询的第一个匹配项，而不是匹配项列表。如果您的 JSON 字符串不是列表或嵌套字典，这不会成为问题。