Python Pandas两个表格内容模糊匹配的实现

转载 作者：qq735679552 更新时间：2022-09-28 22:32:09 26 4

import pandas as pdimport numpy as npimport re

#关键词数据df_keyword = pd.DataFrame({  "keyid" : np.arange(5),  "keyword" : ["numpy", "pandas", "matplotlib", "sklearn", "tensorflow"]})df_keyword

df_sentence = pd.DataFrame({  "senid" : np.arange(10,17),  "sentence" : [      "怎样用pandas实现merge？",      "Python之Numpy详细教程",      "怎么使用Pandas批量拆分与合并Excel文件？",      "怎样使用pandas的map和apply函数？",      "深度学习之tensorflow简介",      "tensorflow和numpy的关系",      "基于sklearn的一些机器学习的代码"  ]})df_sentence

df_keyword['match'] = 1df_sentence['match'] = 1

df_merge = pd.merge(df_keyword, df_sentence)df_merge

def match_func(row):  return re.search(row["keyword"], row["sentence"], re.IGNORECASE) is not Nonedf_merge[df_merge.apply(match_func, axis = 1)]

key_word_dict = {  row.keyword : row.keyid  for row in df_keyword.itertuples()}key_word_dict

def merge_func(row):  #新增一列，表示可以匹配的keyid  row["keyids"] = [      keyid      for key_word, keyid in key_word_dict.items()      if re.search(key_word, row["sentence"], re.IGNORECASE)  ]  return rowdf_merge = df_sentence.apply(merge_func, axis = 1)

df_merge

df_result = pd.merge(left = df_merge.explode("keyids"),right = df_keyword,left_on = "keyids",right_on = "keyid")df_result

26 4 0

• pandas - Pandas 交叉表与 Pandas 数据透视表有何不同？

  pandas.crosstab 和 Pandas 数据透视表似乎都提供了完全相同的功能。有什么不同吗？ 最佳答案 pivot_table没有 normalize争论，不幸的是。 在 crosstab

• pandas - 从 pandas 值序列创建 pandas 区间序列

  我能找到的最接近的答案似乎太复杂:How I can create an interval column in pandas? 如果我有一个如下所示的 pandas 数据框: +-------+ |

• pandas - 将一列值移动到另一列 - Pandas

  这是我用来将某一行的一列值移动到同一行的另一列的当前代码: #Move 2014/15 column ValB to column ValA df.loc[(df.Survey_year == 201

• pandas - 如何将包含 bins 的 pandas 数据框写入文件以便将其读回 pandas？

  我有一个以下格式的 Pandas 数据框: df = pd.DataFrame({'a' : [0,1,2,3,4,5,6], 'b' : [-0.5, 0.0, 1.0, 1.2, 1.4,

• pandas - Pandas 数据框行上的克罗内克积

  所以我有这两个数据框，我想得到一个新的数据框，它由两个数据框的行的克罗内克积组成。正确的做法是什么？ 举个例子:数据框1 c1 c2 0 10 100 1 11 110 2 12

• pandas - Pandas 条形图中的刻度标签重叠

  TL;DR:在 pandas 中，如何绘制条形图以使其 x 轴刻度标签看起来像折线图？ 我制作了一个间隔均匀的时间序列(每天一个项目)，并且可以像这样很好地绘制它: intensity[350:450

• pandas - Pandas 中两个时间戳之间的差异

  我有以下两个时间列，“Time1”和“Time2”。我必须计算 Pandas 中的“差异”列，即 (Time2-Time1): Time1 Time2

• pandas - ( Pandas )根据顺序无关紧要的子集删除重复项

  从这个 df 去的正确方法是什么: >>> df=pd.DataFrame({'a':['jeff','bob','jill'], 'b':['bob','jeff','mike']}) >>> df

• pandas - Pandas 中唯一值的累积计数

  我想按周从 Pandas 框架中的列中累积计算唯一值。例如，假设我有这样的数据: df = pd.DataFrame({'user_id':[1,1,1,2,2,2],'week':[1,1,2,1,

• pandas - Pandas 更改数据透视表中列的顺序

  数据透视表的表示形式看起来不像我在寻找的东西，更具体地说，结果行的顺序。 我不知道如何以正确的方式进行更改。 df示例: test_df = pd.DataFrame({'name':['name_1

• pandas - Pandas 中的分组召回

  我有一个数据框，如下所示。 Category Actual Predicted 1 1 1 1 0

• pandas - 计算从日期时间列到特定日期的天数 - pandas

  我有一个 df，如下所示。 df: ID open_date limit 1 2020-06-03 100 1 2020-06-23 500

• pandas - 删除不等于唯一项目值的行 - Pandas

  我有一个 df ，其中包含与唯一值关联的各种字符串。对于这些唯一值，我想删除不等于单独列表的行，最后一行除外。 下面使用 Label 中的各种字符串值与 Item 相关联.所以对于每个唯一的 Item

• pandas - Pandas 按索引删除列会删除所有具有相同名称的列

  考虑以下具有相同名称的列的数据框（显然，这确实发生了，目前我有一个像这样的数据集！:(） >>> df = pd.DataFrame({"a":range(10,15),"b":range(5,10)

• pandas - Pandas DF中的重复行

  我在 Pandas 中有一个 DF，它看起来像: Letters Numbers A 1 A 3 A 2 A 1 B 1 B 2

• pandas - Pandas 两列之间的时差

  如何减去两列之间的时间并将其转换为分钟 Date Time Ordered Time Delivered 0 1/11/19 9:25:00 am 10:58:00 am

• pandas - pandas 使用哪种方法计算百分位数？

  我试图理解 pandas 中的下/上百分位数计算，但有点困惑。这是它的示例代码和输出。 test = pd.Series([7, 15, 36, 39, 40, 41]) test.describe(

• pandas - 如何提取多索引数据帧的索引名称，pandas

  我有一个多索引数据框，如下所示: TQ bought HT Detailed Instru

• pandas - Pandas :根据字符串计数创建直方图

  我需要从包含值“低”，“中”或“高”的数据框列创建直方图。当我尝试执行通常的df.column.hist（）时，出现以下错误。 ex3.Severity.value_counts() Out[85]:

• pandas - Pandas 中的子字符串列基于另一列

  我试图根据另一列的长度对一列进行子串，但结果集是 NaN .我究竟做错了什么？ import pandas as pd df = pd.DataFrame([['abcdefghi','xyz'],