gpt4 book ai didi

python - 将 Pandas 中的句子拆分为句号和单词

转载 作者:行者123 更新时间:2023-11-28 20:31:12 24 4
gpt4 key购买 nike

我有一个像这样的 Pandas 数据框:

Text            start    end    entity     value
I love apple 7 11 fruit apple
I ate potato 6 11 vegetable potato

我试过使用for循环它运行缓慢,我认为这不是我们应该对 pandas 做的事情。

我想基于此创建另一个 pandas 数据框:

Sentence#         Word        Tag
1 I Object
1 love Object
1 apple fruit
2 I Object
2 ate Object
2 potato vegetable

将文本列拆分为单词和句子编号。除了实体词,其他词都将被标记为对象。

最佳答案

使用splitstackmap:

u = df.Text.str.split(expand=True).stack()

pd.DataFrame({
'Sentence': u.index.get_level_values(0) + 1,
'Word': u.values,
'Entity': u.map(dict(zip(df.value, df.entity))).fillna('Object').values
})

Sentence Word Entity
0 1 I Object
1 1 love Object
2 1 apple fruit
3 2 I Object
4 2 ate Object
5 2 potato vegetable

旁注:如果运行 v0.24 或更高版本,please use .to_numpy() instead of .values .

关于python - 将 Pandas 中的句子拆分为句号和单词,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55444976/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com