python - 使用 python 将句子中的每个单词替换为单词索引

Question

我有两个 csv 文件，其中一个包含如下所示的句子:

                         sentences
0  yes good bye how should and bye
1                       bye should
2                         good bye

另一个 csv，其中每个单词及其旁边的索引如下所示:

     word  frequency  index
0     and        500     10
1     you        334      1
2     how        320      2
3  should        250      3
4     yes        100      4
5     bye         50      5
6    good          1      6

我正在尝试使用字典作为我的问题的解决方案，但它仅针对一个单词而不是整个句子打印奇怪的输出

import string
import pandas as pd
text=pd.read_csv("one.csv")

change=pd.read_csv("result.csv")
print(text)
update = dict(zip(change.word, change.index))
print(update)
text1 = text['sentences'].replace(update, regex=True)
print(text1)
text1.to_csv('yes.csv', header=False, index=False)

我期望输出是:

4 6 5 2 3 10 5

5 3

6 5

我得到的是这个输出:

我做错了什么有解决办法吗？

Answer 1

您可以使用 series.get 的列表理解对于分割每一行后的所有项目:

s=df2.set_index('word')['index']
final=df1.assign(index=[[s.get(a) for a in i.split()] for i in df1['sentences']])

<小时/>

                         sentences                   index
0  yes good bye how should and bye  [4, 6, 5, 2, 3, 10, 5]
1                       bye should                  [5, 3]
2                         good bye                  [6, 5]