个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
27
4
我正在处理一个充满一些错误的数据集。
在此数据集中，有很多像 0xFFFF 这样的错误值，我想清除它们。清理此数据集并获得一些连贯值的最有效方法是什么？
我尝试过df = df.apply(lambda x: pd.to_numeric(x,errors = 'coerce'))但还有一个问题，例如，一月有 31 天，二月有 28 天，所以 2 月 29/30/31 的行已经填充了“NaN”。
我的目标是检查一行是否不是数字(例如 0XFFFF)，并通过一致的内容更改该值(例如最后 2 个值和下 2 个值的平均值)
清除数据:
January February March April May june July August
0 -5 -7.0 -7 2.0 12 17 20 20
1 -6 -6.0 -8 3.0 14 16 20 19
2 -5 -5.0 -5 4.0 15 17 17 19
3 -3 -6.0 -3 6.0 16 14 18 18
4 -6 -8.0 -2 4.0 13 15 17 17
5 -11 -9.0 1 5.0 12 17 17 18
6 -6 5.0 2 4.0 8 17 16 16
7 -8 -11.0 1 6.0 7 15 17 17
8 -11 -12.0 1 7.0 6 14 17 15
9 -8 -9.0 2 7.0 5 Sun 15 14
10 -8 -6.0 1 8.0 5 14 15 14
11 -8 -5.0 3 8.0 6 13 16 15
12 -8 -4.0 5 9.0 8 11 16 15
13 -10 1.0 5 10.0 10 14 13 15
14 -10 3.0 7 8.0 12 15 14 48
15 -9 -9.0 0xFFFF 8.0 13 15 -6 18
16 -6 -6.0 2 9.0 14 15 15 19
17 -6 -6.0 -1 11.0 13 17 15 21
18 -4 -4.0 -2 10.0 15 16 15 24
19 -8 2.0 -1 11.0 15 19 17 21
20 -9 3.0 0 12.0 15 20 18 21
21 -14 1.0 1 9.0 18 19 19 26
22 -15 -3.0 2 7.0 18 20 0xFFFF 17
23 -17 -4.0 3 8.0 16 22 24 18
24 -19 -6.0 4 8.0 15 22 23 17
25 -23 -8.0 3 6.0 16 21 26 17
26 -8 -8.0 4 9.0 16 22 26 16
27 -9 -11.0 5 11.0 17 21 21 17
28 -5 NaN 5 14.0 16 21 22 17
29 -6 NaN 3 16.0 17 17 23 18
30 -7 NaN 3 NaN 17 NaN 21 17
工作后的预期输出(NaN 必须保留，但所有其他必须更改(不是数值)):
January February March April May june July August \
0 -5 -7.0 -7 2.0 12 17 20 20
1 -6 -6.0 -8 3.0 14 16 20 19
2 -5 -5.0 -5 4.0 15 17 17 19
3 -3 -6.0 -3 6.0 16 14 18 18
4 -6 -8.0 -2 4.0 13 15 17 17
5 -11 -9.0 1 5.0 12 17 17 18
6 -6 5.0 2 4.0 8 17 16 16
7 -8 -11.0 1 6.0 7 15 17 17
8 -11 -12.0 1 7.0 6 14 17 15
9 -8 -9.0 2 7.0 5 14 15 14
10 -8 -6.0 1 8.0 5 14 15 14
11 -8 -5.0 3 8.0 6 13 16 15
12 -8 -4.0 5 9.0 8 11 16 15
13 -10 1.0 5 10.0 10 14 13 15
14 -10 3.0 7 8.0 12 15 14 48
15 -9 -9.0 4.5 8.0 13 15 -6 18
16 -6 -6.0 2 9.0 14 15 15 19
17 -6 -6.0 -1 11.0 13 17 15 21
18 -4 -4.0 -2 10.0 15 16 15 24
19 -8 2.0 -1 11.0 15 19 17 21
20 -9 3.0 0 12.0 15 20 18 21
21 -14 1.0 1 9.0 18 19 19 26
22 -15 -3.0 2 7.0 18 20 19 17
23 -17 -4.0 3 8.0 16 22 24 18
24 -19 -6.0 4 8.0 15 22 23 17
25 -23 -8.0 3 6.0 16 21 26 17
26 -8 -8.0 4 9.0 16 22 26 16
27 -9 -11.0 5 11.0 17 21 21 17
28 -5 NaN 5 14.0 16 21 22 17
29 -6 NaN 3 16.0 17 17 23 18
30 -7 NaN 3 NaN 17 NaN 21 17
谢谢!
最佳答案
使用DataFrame.apply与 pd.to_numeric :
df = df.apply(lambda x: pd.to_numeric(x,errors = 'coerce'))
如果您想保留 str 列，您可以选择要清理的列:
cols = [my_list of columns]
df[cols] = df[cols].apply(lambda x: pd.to_numeric(x,errors = 'coerce'))
我们还可以使用DataFrame.stack + DataFrame.unstack
df = pd.to_numeric(df.stack(),errors='coerce').unstack()
输出
january february
0 -1 -1.0
1 -3 -2.0
2 -5 NaN
3 1 1.0
4 0 0.0
5 -6 6.0
6 -7 4.0
7 -5 2.0
更新
df = ( pd.to_numeric(df.stack(),errors='coerce')
.unstack().interpolate().where(df.notna()) )
January February March April May june July August
0 -5.0 -7.0 -7.0 2.0 12.0 17.0 20.0 20.0
1 -6.0 -6.0 -8.0 3.0 14.0 16.0 20.0 19.0
2 -5.0 -5.0 -5.0 4.0 15.0 17.0 17.0 19.0
3 -3.0 -6.0 -3.0 6.0 16.0 14.0 18.0 18.0
4 -6.0 -8.0 -2.0 4.0 13.0 15.0 17.0 17.0
5 -11.0 -9.0 1.0 5.0 12.0 17.0 17.0 18.0
6 -6.0 5.0 2.0 4.0 8.0 17.0 16.0 16.0
7 -8.0 -11.0 1.0 6.0 7.0 15.0 17.0 17.0
8 -11.0 -12.0 1.0 7.0 6.0 14.0 17.0 15.0
9 -8.0 -9.0 2.0 7.0 5.0 14.0 15.0 14.0
10 -8.0 -6.0 1.0 8.0 5.0 14.0 15.0 14.0
11 -8.0 -5.0 3.0 8.0 6.0 13.0 16.0 15.0
12 -8.0 -4.0 5.0 9.0 8.0 11.0 16.0 15.0
13 -10.0 1.0 5.0 10.0 10.0 14.0 13.0 15.0
14 -10.0 3.0 7.0 8.0 12.0 15.0 14.0 48.0
15 -9.0 -9.0 4.5 8.0 13.0 15.0 -6.0 18.0
16 -6.0 -6.0 2.0 9.0 14.0 15.0 15.0 19.0
17 -6.0 -6.0 -1.0 11.0 13.0 17.0 15.0 21.0
18 -4.0 -4.0 -2.0 10.0 15.0 16.0 15.0 24.0
19 -8.0 2.0 -1.0 11.0 15.0 19.0 17.0 21.0
20 -9.0 3.0 0.0 12.0 15.0 20.0 18.0 21.0
21 -14.0 1.0 1.0 9.0 18.0 19.0 19.0 26.0
22 -15.0 -3.0 2.0 7.0 18.0 20.0 21.5 17.0
23 -17.0 -4.0 3.0 8.0 16.0 22.0 24.0 18.0
24 -19.0 -6.0 4.0 8.0 15.0 22.0 23.0 17.0
25 -23.0 -8.0 3.0 6.0 16.0 21.0 26.0 17.0
26 -8.0 -8.0 4.0 9.0 16.0 22.0 26.0 16.0
27 -9.0 -11.0 5.0 11.0 17.0 21.0 21.0 17.0
28 -5.0 NaN 5.0 14.0 16.0 21.0 22.0 17.0
29 -6.0 NaN 3.0 16.0 17.0 17.0 23.0 18.0
30 -7.0 NaN 3.0 NaN 17.0 NaN 21.0 17.0
关于python - 清理数据框中可能存在的错误值，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/59753154/
27
4
0
SELECT *, `o_cheque_request.member_id`, `o_cheque_request.wallet_id` FROM `o_cheque_request`, `o_mem
根据某一条件从数据库表中查询 『有』与『没有』，只有两种状态，那为什么在写SQL的时候，还要**SELECT count(*)**呢？ 无论是刚入道的程序员新星，还是精湛沙场多年的程序员老白，都是一如
我试图找出一个文件是否存在，如果存在，验证css样式是否已经存在，如果不存在，将它们写在文件末尾... 我已经完成了这一切，但分 3 个步骤: 该文件是否存在？ FileInfo fi= new Fi
我们正在开发即时消息传递应用程序，并且需要在用户的化身上用绿点显示用户 friend 的“状态”。 “状态”远远超出了“my_app_is_opened_and_on_focus”，这意味着(我猜可能
模式 Movie(title, year, director, budget, earnings) Actor(stagename, realname, birthyear) ActedIn(stag
我有一个正在尝试创建的 MySQL 触发器，但无法获得正确的语法。 触发器应该遍历一组关键字并将其与插入数据库的新帖子的标题进行匹配。如果找到匹配项，它应该将新帖子分配给该存储桶并更新存储桶的关键字集
我有 3 个表......用户、更新和碰撞。 我想向发出 api 请求的用户返回最新订单的 feed 更新，并提供显示 feed 中每个状态所需的所有数据。我还需要包括更新是否已被发出 api 请求的
我正在尝试呈现一个带有 UIView 的 UIViewController。 以下是我在 viewDidLoad 方法中尝试的代码。 //create the view controller UIVi
我正在努力弄清楚如何在不对 mysql 进行两次调用的情况下从一个表中检查两件事。 我有一个 Members 表。我想测试MemberID 列中是否存在某个值，以及PhoneNumber 列中是否存在
以下代码给出了一个没有 Do Compile 错误的循环: Loop Sheets("Snap").Rows(1).AutoFilter Field:=5, Criteria1:=List
是否可以通过检查“dig”的输出来检查域名的存在？ 在绑定(bind)源中，我发现了这些常量: 0 DNS_R_NOEROR 1 DNS_R_FORMERR 2 DNS_R_SERVFAIL 3 DN
Controller 有问题 我在 Windows 上使用服务器，一切正常，但在互联网上我试图访问页面 social_apartament/beauty_life/并且找不到该页面，代码错误 404这
/** This is struct S. */ struct S(T) { static if(isFloatingPoint!T) { /// This version works
JVM 类型删除如何帮助 Clojure？没有它，Clojure 还能存在吗？如果 JVM 有具体化的类型会发生什么？也就是说，Clojure 将如何改变？ 最佳答案 Clojure 根本不会有太大变
许多论文等提到对“system()”的调用是不安全且不可移植的。我不反对他们的论点。 不过，我注意到许多 Unix 实用程序都有一个等效的 C 库。如果没有，源可用于各种这些工具。 虽然许多论文和此类
在我的 Node js 应用程序中，我有一个用户登录 api。上面我在服务器端代码中创建了一个名为 customerid 的变量。现在，当用户身份验证成功时。我将他的 userid 值存储在我的 cu
我有一个工作资源管理器组，由 Ubuntu 14.04 虚拟机、网络接口(interface)、公共(public) IP 地址和存储帐户组成。我已经从这组资源中创建了一个模板。 当我尝试部署这组资源
我有一个函数createminor4(arr，锦标赛)它基本上将arr分成4组，每组8人，然后将它们一次交换到tourney 1组。从那里它插入四个{}，其中有 4 个带有空数组的键。 我已经在 Ch
我有一个图表，其中有两个图例。我需要更改其中一个图例的点的大小。 我需要更改图例中“市场类型”的项目符号大小。我使用示例 here但不适用于我的图表。 我的代码如下: k <- ggplot(subs
我有 fiddle here展示我正在尝试做的事情。 我有一个动态生成的表，因此列可以按用户选择的任何顺序显示。因此，我尝试获取两个特定 header 的索引，以便可以将 CSS 类添加到这两列以供稍
我是一名优秀的程序员,十分优秀！