Python Dataframe 指定多列去重、求差集的方法-6ren

Python Dataframe 指定多列去重、求差集的方法

转载作者：qq735679552 更新时间：2022-09-27 22:32:09

25

4

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章Python Dataframe 指定多列去重、求差集的方法由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

1）去重。

指定多列去重，这是在dataframe没有独一无二的字段作为PK（主键）时，需要指定多个字段一起作为该行的PK，在这种情况下对整体数据进行去重.

Attention：主要用到了drop_duplicates方法，并设置参数subset为多个字段名构成的数组.

具体代码如下:

 
    ? 
   
 
     
       
       
         >>> 
         import 
         pandas as pd  
        
 
         >>>data 
         = 
         { 
         'state' 
         :[ 
         1 
         , 
         1 
         , 
         2 
         , 
         2 
         , 
         1 
         , 
         2 
         , 
         2 
         ], 
         'pop' 
         :[ 
         'a' 
         , 
         'b' 
         , 
         'c' 
         , 
         'd' 
         , 
         'b' 
         , 
         'c' 
         , 
         'd' 
         ]} 
        
 
         >>>frame 
         = 
         pd.DataFrame(data)  
        
 
         >>>frame 
        
 
              
         pop state 
        
 
         0   
         a    
         1 
        
 
         1   
         b    
         1 
        
 
         2   
         c    
         2 
        
 
         3   
         d    
         2 
        
 
         4   
         b    
         1 
        
 
         5   
         c    
         2 
        
 
         6   
         d    
         2 
        
 
         >>>frame.drop_duplicates(subset 
         = 
         [ 
         'pop' 
         , 
         'state' 
         ]) 
        
 
              
         pop state 
        
 
         0   
         a    
         1 
        
 
         1   
         b    
         1 
        
 
         2   
         c    
         2 
        
 
         3   
         d    
         2 
        
 
     
 
   

2）求差集。

假设有两个dataframe为a和b，a和b可以是相互包含的关系，现在想要将a中和b重复的内容去掉，也就是求差集，步骤如下:

（1）需要对两个dataframe进行去重.

（2）利用append方法，a=a.append(b) 。

（3）再次利用append方法，a=a.append(b) 。

（4）去重，利用drop_duplicates方法，a=a.drop_duplicates()，以及设置参数keep=False，意思就是只要有重复，重复的记录都去掉。（keep默认='first',也就是保留第一条记录）。

具体代码如下:

 
    ? 
   
 
     
       
       
         >>>data_a 
         = 
         { 
         'state' 
         :[ 
         1 
         , 
         1 
         , 
         2 
         ], 
         'pop' 
         :[ 
         'a' 
         , 
         'b' 
         , 
         'c' 
         ]} 
        
 
         >>>data_b 
         = 
         { 
         'state' 
         :[ 
         1 
         , 
         2 
         , 
         3 
         ], 
         'pop' 
         :[ 
         'b' 
         , 
         'c' 
         , 
         'd' 
         ]} 
        
 
         >>>a 
         = 
         pd.DataFrame(data_a) 
        
 
         >>>a  
        
 
              
         pop state 
        
 
         0   
         a    
         1 
        
 
         1   
         b    
         1 
        
 
         2   
         c    
         2 
        
 
         >>>b 
         = 
         pd.DataFrame(data_b)  
        
 
         >>>b 
        
 
              
         pop state 
        
 
         0   
         b    
         1 
        
 
         1   
         c    
         2 
        
 
         2   
         d    
         3 
        
 
         >>>a  
         = 
         a.append(b) 
        
 
         >>>a  
         = 
         a.append(b) 
        
 
         >>>result  
         = 
         a.drop_duplicates(subset 
         = 
         [ 
         'pop' 
         , 
         'state' 
         ],keep 
         = 
         False 
         ) 
        
 
         >>>result 
        
 
              
         pop state 
        
 
         0   
         a    
         1 
        
 
     
 
   

以上这篇Python Dataframe 指定多列去重、求差集的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我.

原文链接：https://blog.csdn.net/jasonwang_/article/details/78797458 。

最后此篇关于Python Dataframe 指定多列去重、求差集的方法的文章就讲到这里了,如果你想了解更多关于Python Dataframe 指定多列去重、求差集的方法的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

25

4

0

文章推荐： Python使用xlwt模块操作Excel的方法详解

文章推荐： SQL开窗函数的具体实现详解

文章推荐： Python实现对文件进行单词划分并去重排序操作示例

文章推荐： Python安装图文教程 Pycharm安装教程

python - 检查一个数据框的任何值(多列)是否存在于另一个数据框的任何值(多列)中
我有两个具有不同格式的相似数据的数据框 df1: Nodo X Y Z CTB3901 CTBX3901 CTBY3901 CTBZ3901
sql - WHERE ... IN 多列
这个问题在这里已经有了答案: Using tuples in SQL "IN" clause (9 个回答) 关闭 8 年前。我尝试获得一些满足特定条件的用户: SELECT * FROM use
mysql - 多列 WHERE IN AND
我目前正在使用 MySQL (5.7) 来查询成员表。当我执行如下查询时: SELECT fname, lname, added FROM Members WHERE ((fname, lname)
CSS3 多列
我正在使用 CSS 创建多个列，以提供与 Pinterest 界面类似的外观(例如，框列，但整齐地堆叠在彼此之下)。这是我使用的代码: #feed-post-home .feed { -mo
vba - VLookup 多列
我正在使用 VLookup 函数来查找列中存在的多个值。这工作得很好，但只需要很多时间，因为我在 Excel 表中有 100,000 行。有什么办法可以加快这段代码的速度吗？该代码基本上在列中查找
Excel – 多列，不同的组合
如果这个词正确的话，我有 4 列和 4 个不同的参数。每个参数大约有 3-5 个变量。我想做的是在维护不同列的同时创建 4 个不同参数的所有可能组合。因此，假设我有以下示例: **Column A |
r - 按降序排列_() 多列
我正在尝试使用 arrange_()使用字符串输入并按降序排列在其中一列中。 library(dplyr) # R version 3.3.0 (2016-05-03) , dplyr_0.4.3 #
WPF ComboBox 多列
我只是想知道是否有可以包含多列的 wpf 组合框控件？如果没有，我需要使用什么 XAML 来实现这一目标？如果可能的话，我只是在寻找一个基本的两列组合框，谢谢最佳答案请引用这些链接多列组合
SQL 更新 - 多列
我想使用 Select 根据第二个表中的值更新表中的多个列语句来获取这样的值: UPDATE tbl1 SET (col1, col2, col3) = (SELECT colA, colB, col
IN 子句中的 SQL 多列
如果我们需要根据给定列的某些值集查询表，我们可以简单地使用 IN 子句。但是如果需要基于多列执行查询，我们不能使用 IN 子句(在 SO 线程中 grepped)。从其他 SO 线程，我们可以使用
sql - String_Split 多列
我需要用分隔值拆分表中两列的值。我的源表如下所示: 产品IDean_upc已批准21029618710103368021;8710103368038;87101033680141;0;1929236
c# - 多列 TreeView
我正在尝试在 WPF 中创建一个包含多列的 TreeView 。我很清楚，关于这个主题确实有很多问题。但是，他们在绑定(bind)数据时似乎采用了不同的方法。每个人似乎都设置了 itemssource
Excel 数据透视表 - 多列
我正在尝试使用以下数据在 Excel 中创建数据透视表: 我试图得出的最终结果(使用枢轴)是这样的摘要: 但是我不知道如何让 Excel 计算/添加/考虑所有列。我可以为每个单独的字段/列创建一个数据
c# - 多列 TreeView
我正在尝试在 WPF 中创建一个包含多列的 TreeView 。我很清楚，关于这个主题确实有很多问题。但是，他们在绑定(bind)数据时似乎采用了不同的方法。每个人似乎都设置了 itemssource
SQL MAX 多列？
如何在最多几列的每行返回 1 个值: 表名 [Number, Date1, Date2, Date3, Cost] 我需要返回这样的东西: [Number, Most_Recent_Date, Cos
python - 多列+条件连接
我有两个数据框想要连接在一起(自行车骑行数据框和自行车站数据框)。我一直在使用 pandas 库，但我似乎无法编写代码来完美地操作连接。最初，我只是加入关键“station_id”，但我发现最近更新
python - csvjoin 多列
我有以下 csv 文件，我想要内部联接 CSV 1:Trip_Data.csv (250MB) head -2 rand_trip_data_1.csv medallion,hack_license,
python - merge_asof 多列
我知道以前也有人问过类似的问题。但是，我的问题略有不同。我正在尝试跨多个列获取 merge_asof 的功能。这是数据集: import pandas as pd left = pd.DataFram
MySQL 多列、单查询
我有一个数据库，里面保存着客户的数据。我需要知道我们在各个城市和国家有多少客户。我必须用单个查询来完成它。我的表是客户，我有城市和国家列(均为varchar)，其中包含有关它的信息。所需的查询输出
php - 左连接两个表，多列
我需要左连接两个表:Cardealers 和Applications。我想查看哪些信用卡经销商收到了哪些申请。每个申请都会转发给三个发卡商，因此我的表结构具有以下 3 列:receiver_1、r

首页

博学

6Ren·AI

商城

Python Dataframe 指定多列去重、求差集的方法