Pandas标记删除重复记录的方法-6ren

Pandas标记删除重复记录的方法

转载作者：qq735679552 更新时间：2022-09-28 22:32:09

26

4

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章Pandas标记删除重复记录的方法由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

Pandas提供了duplicated、Index.duplicated、drop_duplicates函数来标记及删除重复记录。

duplicated函数用于标记Series中的值、DataFrame中的记录行是否是重复，重复为True，不重复为False 。

pandas.DataFrame.duplicated(self, subset=None, keep='first') 。

pandas.Series.duplicated(self, keep='first') 。

其中参数解释如下:

subset：用于识别重复的列标签或列标签序列，默认所有列标签。

keep=‘frist'：除了第一次出现外，其余相同的被标记为重复。

keep='last'：除了最后一次出现外，其余相同的被标记为重复。

keep=False：所有相同的都被标记为重复。

 
    ? 
   
         import numpy as np 
        
         import pandas as pd  
        
         #标记DataFrame重复例子 
        
         df = pd.DataFrame({'col1': ['one', 'one', 'two', 'two', 'two', 'three', 'four'], 'col2': [1, 2, 1, 2, 1, 1, 1], 
        
         'col3':['AA','BB','CC','DD','EE','FF','GG']},index=['a', 'a', 'b', 'c', 'b', 'a','c']) 
        
         #duplicated(self, subset=None, keep='first') 
        
         #根据列名标记 
        
         #keep='first' 
        
         df.duplicated()#默认所有列，无重复记录 
        
         df.duplicated('col1')#第2、4、五行被标记为重复 
        
         df.duplicated(['col1','col2'])#第五行被标记为重复 
        
         #keep='last' 
        
         df.duplicated('col1','last')#第﻿1、3、四行被标记重复 
        
         df.duplicated(['col1','col2'],keep='last')#第三行被标记为重复 
        
         #keep=False 
        
         df.duplicated('col1',False)#Series([True,True,True,True,True,False,False],index=['a','a','b','c','b','a','c']) 
        
         df.duplicated(['col1','col2'],keep=False)#在col1和col2列上出现相同的，都被标记为重复 
        
         type(df.duplicated(['col1','col2'],keep=False))#pandas.core.series.Series 
        
         #根据索引标记 
        
         df.index.duplicated()#默认keep='first',第2、5、七行被标记为重复 
        
         df.index.duplicated(keep='last')#第﻿1、2、3、四被标记为重复 
        
         df[df.index.duplicated()]#获取重复记录行 
        
         df[~df.index.duplicated('last')]#获取不重复记录行 
        
         #标记Series重复例子 
        
         #duplicated(self, keep='first') 
        
         s = pd.Series(['one', 'one', 'two', 'two', 'two', 'three', 'four'] ,index= ['a', 'a', 'b', 'c', 'b', 'a','c'],name='sname') 
        
         s.duplicated() 
        
         s.duplicated('last') 
        
         s.duplicated(False) 
        
         #根据索引标记 
        
         s.index.duplicated() 
        
         s.index.duplicated('last') 
        
         s.index.duplicated(False)

drop_duplicates函数用于删除Series、DataFrame中重复记录，并返回删除重复后的结果。

pandas.DataFrame.drop_duplicates(self, subset=None, keep='first', inplace=False) 。

pandas.Series.drop_duplicates(self, keep='first', inplace=False) 。

 
    ? 
   
         #删除DataFrame重复记录例子  
        
         #drop_duplicates(self, subset=None, keep='first', inplace=False)  
        
         df.drop_duplicates()  
        
         df.drop_duplicates('col1')#删除了df.duplicated('col1')标记的重复记录  
        
         df.drop_duplicates('col1','last')#删除了df.duplicated('col1','last')标记的重复记录  
        
         df1.drop_duplicates(['col1','col2'])#删除了df.duplicated(['col1','col2'])标记的重复记录  
        
         df.drop_duplicates('col1',keep='last',inplace=True)#inplace=True表示在原DataFrame上执行删除操作  
        
         df.drop_duplicates('col1',keep='last',inplace=False)#inplace=False返回一个副本  
        
         #删除Series重复记录例子  
        
         #drop_duplicates(self, keep='first', inplace=False)  
        
         s.drop_duplicates()

以上这篇Pandas标记删除重复记录的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我.

原文链接：https://blog.csdn.net/kancy110/article/details/70142728 。

最后此篇关于Pandas标记删除重复记录的方法的文章就讲到这里了,如果你想了解更多关于Pandas标记删除重复记录的方法的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

26

4

0

文章推荐： pandas.DataFrame 根据条件新建列并赋值的方法

文章推荐：优化Pytorch模型训练的小技巧

文章推荐：网站上线前必须做什么

文章推荐： Python将DataFrame的某一列作为index的方法

iPhone:删除/删除 SQLite 数据库？
我知道如何通过iPhone开发创建sqlite数据库、向其中插入数据、删除行等，但我试图以编程方式删除整个数据库本身，但没有得到任何帮助。请有人指导我如何通过代码从设备中删除/删除整个 sqlite
teradata - 删除/删除 Teradata 中的数据库
请帮助指导如何在 Teradata 中删除数据库。当我运行命令DROP DATABASE database_name时，我收到错误消息: *** Failure 3552 Cannot DROP d
azure - 删除/删除 Azure 警报规则
Azure 警报规则的删除命令似乎不起作用，尝试了下面的方法，它返回状态为无内容，并且警报未被删除使用的命令Remove-AzAlertRule -ResourceGroup "RGName"-Na
elasticsearch - Elasticsearch 数据丢失/删除/删除
我在 flex 搜索中为大约50000个视频建立了索引，但是当它达到52000左右时，所有数据都被删除。嗯，这对我来说真的很奇怪，我没有为ES设置任何Heap大小或最小或最大大小的内存大小，因此它们没
python - Django:删除/删除 slug
我正在处理的问题是表单错误“输入由字母、数字、下划线或连字符组成的有效‘slug’。” 以下是我的表单字段验证: def clean_slug(self): slug = self.c
jQuery 删除 : $ ("..."). 删除() 与 .remove ("...")
阅读文档，我希望 $("#wrap2").remove(".error") 从中删除所有 .error 元素#wrap2。然而看看这个 JSFiddle: http://jsfiddle.net/h
php - 删除/删除 laravel 项目
嗨，我第一次尝试发现 laravel 我从 laravel 4.2 开始，我刚刚创建了一个新项目，但我误以为我写了这样的命令行 composer create-project laravel/lara
Apache 2.4 - 删除 |删除 |卸载
我已经在网上搜索了很长一段时间，但我找不到如何完全删除 apache 2.4 。使用: Windows 7 c:\apache24\ 我已经尝试了所有命令，但没有任何效果。 httpd -k shu
python - 删除/删除 pandas DataFrame 中任意列中具有特定字符串的行
可能是一个简单的答案，所以提前道歉(最少的编码经验)。我正在尝试从任何列中删除具有特定字符串(经济 7)的任何行，并且一直在尝试离开此线程: How to drop rows from pandas
c++ - 删除/删除 vector 项的最有效/最快的方法
有几种方法可以删除/移除 vector 中的项目。我有一个指针 vector ，我需要在类的析构函数中删除所有指针。什么是最有效/最快甚至最安全的方式？ // 1º std::for_each(v
linux - 删除 xinetd 导致 plesk 删除
我安装了一个 VNC 服务器并在某处阅读了我必须安装 xinetd 的信息。稍后我决定删除 VNC 服务器，所以我也删除了 xinetd。似乎 xinetd 删除了一些与 plesk 相关的文件，如果
android - 如何完全杀死/删除/删除/停止 AsyncTask
我制作了一个从我们的服务器下载视频的应用。问题是: 当我取消下载时，我打电话: myAsyncTask.cancel(true) 我注意到，myAsyncTask 并没有在调用取消时停止...我的 P
machine-learning - 删除/删除 Vertica 中的机器学习模型(如果存在)
是否可以在使用DELETE_MODEL删除模型之前检查模型是否存在我试图避免在尝试删除尚未创建的模型时收到错误消息。基本上我正在寻找对应的: DROP TABLE IF EXISTS 但对于模型。最
php - 如何使用 php 删除/删除 mySQL 中的特定表行？
我已经有了这个代码: 但它仍然会生成一个表行条目。我想做的是，当输入的数量为0时，表行将被删除。请耐心等待，因为我是 php 和 mySQL 编码新手。最佳答案您忘记执行查询。应该是 $que
c# - 删除 EWS 中的 Exchange 事件修改/删除(即恢复事件)
在 SharePoint 中，如果您删除/修改重复日历条目的单次出现，则不会真正删除/修改任何内容 - 相反，会创建一个新条目，告诉 SP 对于特定日期，该事件不存在或具有新参数. 因此，这可以通过删
javascript - Laravel 5.2 & Dropzone.js - 删除(删除)上传的图片
在 routes.php 中我有以下路由: Route::post('dropzone', ['as' => 'dropzone.upload', 'uses' => 'AdminPhotoContr
Node.JS app.get 错误..无法获取/删除/删除/15
在我的应用程序中，我正在尝试删除产品。当我第一次删除产品时，它会成功并且 URL 更改为/remove_category/15。我正在渲染到同一页面。现在，当我尝试删除另一个产品时，网址更改为/rem
bash - 匹配后如何使用 BSD/OS X sed 删除/删除 X 行
这个问题被问了很多次，但给出的答案都是 GNU sed 特定的。 sed -i '' "/${FIND}/,+2d""$FILE" 给出“预期的上下文地址”错误。有人可以给我一个例子，说明如何使用
javascript - Google Maps JavaScript API V3 - 卸载/解构/删除/删除
在使用 V3 API 时，我找不到任何方法来删除和清理 Google map 。我已经在 AJAX 站点中运行它，所以我想完全关闭它而无需重新加载页面。我希望有一个 .unload() 或 .de
sql-server - 如何创建一个可以创建/更改/删除 View 但不能表、可以读取数据但不能插入/更新/删除/截断数据的 Azure SQL 数据库用户？
是否可以创建一个 Azure SQL 数据库用户来执行以下操作: 针对所有表和 View 进行 SELECT 创建/更改/删除 View 但用户不应该不拥有以下权限: 针对任何表或 View 插入/更

首页

博学

6Ren·AI

商城

Pandas标记删除重复记录的方法