gpt4 book ai didi

python - 改变 pandas 中的特定字符

转载 作者:行者123 更新时间:2023-12-01 07:22:54 25 4
gpt4 key购买 nike

背景

我有以下 df,其中包含标记化的 TextP_Name 列,并且是 including word boundary in string modification to be more specific 的修改

P_Name = [list(['Steven', 'I','Jobs']),
list(['A', 'Ma', 'Mary']),
list(['U','Kar', 'Jacob'])]

Text = [list(['Steven', 'I','Jobs', 'likes', 'apples','I', 'too']),
list(['A','i', 'like', 'A', 'lot', 'of','sports','cares', 'A', 'Ma', 'Mary']),
list(['the','U', 'Kar', 'Jacob', 'what', 'about', 'U', 'huh','?'])]

import pandas as pd
df = pd.DataFrame({'Text' : Text,
'P_ID': [1,2,3],
'P_Name' : P_Name,

})
df
P_ID P_Name Text
0 1 [Steven, I, Jobs] [Steven, I, Jobs, likes, apples, I, too]
1 2 [A, Ma, Mary] [A, i, like, A, lot, of, sports, cares, A, Ma, Mary]
2 3 [U, Kar, Jacob] [the, U, Kar, Jacob, what, about, U, huh, ?]

目标

1) 使用P_Name中的名称,通过放置**block**

来阻止 Text列中的相应文本>

2) 生成一个新列 New_Text

尝试过

来自including word boundary in string modification to be more specific

我修改了代码并尝试了以下操作

df['New_Text']=[pd.Series(x).replace(dict.fromkeys(y,'**block**') ).str.cat(sep=' ')for x , y in zip(df['Text'],df['P_Name'])]

这接近我想要的,但不完全是因为一些字母被不恰本地标记为**block**,例如0行中的I >

 P_ID P_Name Text New_Text
0 [**block**, **block**, **block**, likes, apples, **block**, too]
1 [**block**, i, like, **block**, lot, of, sports, cares, **block**, **block**, **block**]
2 [the, **block**, **block**, **block**, what, about, **block**, huh, ?]

所需输出

P_ID P_Name Text New_Text
0 [**block**, **block**, **block**, likes, apples, I, too]
1 [A, i, like, A, lot, of, sports, cares, **block**, **block**, **block**]
2 [the, **block**, **block**, **block**, what, about, U, huh, ?]

问题

如何进一步修改

df['New_Text']=[pd.Series(x).replace(dict.fromkeys(y,'**block**') ).str.cat(sep=' ')for x , y in zip(df['Text'],df['P_Name'])]

或者使用新代码来实现我想要的输出?

最佳答案

您希望 P_Name 序列在 Text 标记中按顺序出现。这可以通过迭代 Text 标记并检查整个 P_Name 标记是否相等来实现:

df["New_Text"] = df["Text"].apply(lambda tokens: tokens.copy())  # copy original tokens
for tokens, name in zip(df["New_Text"], df["P_Name"]):
for i, token in enumerate(tokens):
if tokens[i:i + len(name)] == name:
tokens[i:i + len(name)] = ["**block**"] * len(tokens[i:i + len(name)])

根据您的使用案例,您可能可以使用未标记化的Text(&P_name)。如果是这样,则可以进行子字符串匹配,然后执行标记化。

关于python - 改变 pandas 中的特定字符,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57600096/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com