Python 开发神技 -- 使用管道 Pipe-6ren

Python 开发神技 -- 使用管道 Pipe

转载作者：qq735679552 更新时间：2022-09-27 22:32:09

30

4

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章Python 开发神技 -- 使用管道 Pipe由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

Python 开发神技 -- 使用管道 Pipe

众所周知，Pytnon 非常擅长处理数据，尤其是后期数据的清洗工作。今天派森酱就给大家介绍一款处理数据的神器 Pipe.

什么是 Pipe

简言之，Pipe 是 Python 的一个三方库.

通过 Pipe 我们可以将一个函数的处理结果传递给另外一个函数，这意味着你的代码会非常简洁.

要使用 Pipe 需要提前安装，直接使用 pip 安装即可.

pip install pipe

过滤元素

和 filter 类似，pipe 中的 where 操作可以过滤可迭代对象中的元素.

In [5]: numbers = [0, 1, 2, 3, 4, 5]
In [6]: list(numbers | where(lambda x: x % 2 == 0))
Out[6]: [0, 2, 4]

作用元素

类似 map，select 操作可以将函数作用于可迭代对象中的每个元素。下面的例子中我们将列表中的元素都扩大 2 倍.

In [8]: list(numbers | select(lambda x: x * 2))
Out[8]: [0, 2, 4, 6, 8, 10]

当然，还可以将多种操作合并在一起来玩.

下面的例子就是将列表中的偶数挑选出来并扩大 2 倍，和 filter 与 map 不同的是，pipe 可以将多个操作连接起来，就像水管套水管一样，所以我想管道这个名字也是很接地气了.

In [10]: list(numbers
...: | where(lambda x: x % 2 == 0)
...: | select(lambda x: x * 2)
...: )
...:
Out[10]: [0, 4, 8]

连接元素

操作嵌套列表时非常痛苦，值得高兴的是 pipe 给出了很友好的接口，只需要 chain 一下即可.

In [11]: list([[1, 2], [3, 4], [5]] | chain)
Out[11]: [1, 2, 3, 4, 5]
In [30]: list((1, 2, 3) | chain_with([4, 5], [6]))
Out[30]: [1, 2, 3, 4, 5, 6]
In [31]: list((1, 2, 3) | chain_with([4, 5], [6,[7]]))
Out[31]: [1, 2, 3, 4, 5, 6, [7]]

如你所见，chain 只可以拆开一层，如果要拆开多层嵌套的话，不要慌，traverse 轻松搞定.

In [12]: list([[1, 2], [[[3], [[4]]], [5]]] | traverse)
Out[12]: [1, 2, 3, 4, 5]

结合 select 一起，获取字典中的某个字段属性集合.

In [32]: fruits = [
...: {"name": "apple", "price": [2, 5]},
...: {"name": "orange", "price": 4},
...: {"name": "grape", "price": 5},
...: ]
In [33]: list(fruits
...: | select(lambda fruit: fruit["price"])
...: | traverse)
...:
Out[33]: [2, 5, 4, 5]

分组

对列表中的元素进行分组是必不可少的，在 pipe 中可以使用 groupby 来完成.

In [26]: list(numbers
...: | groupby(lambda x: 'Even' if x % 2 == 0 else 'Odd')
...: | select(lambda x: {x[0]: list(x[1])})
...: )
...:
Out[26]: [{'Even': [0, 2, 4]}, {'Odd': [1, 3, 5]}]

同样，还可以在 select 中添加 where 过滤条件.

In [27]: list(numbers
...: | groupby(lambda x: 'Even' if x % 2 == 0 else 'Odd')
...: | select(lambda x: {x[0]: list(x[1] | where(lambda x: x > 2))})
...: )
...:
Out[27]: [{'Even': [4]}, {'Odd': [3, 5]}]

行列互换

数据处理中时常会用到行列互相转换，尤其是在用 DataFrame 时，使用 pipe 一行代码搞定行列转换.

In [24]: [[1, 2, 3], [4, 5, 6], [7, 8, 9]] | transpose
Out[24]: [(1, 4, 7), (2, 5, 8), (3, 6, 9)]

删除元素

对列表去重也是一项常用的操作，在 pipe 中使用 dedup 来对列表进行去重.

In [28]: list([1, 1, 2, 2, 3, 3, 1, 2, 3] | dedup)
Out[28]: [1, 2, 3]

与 dedup 不同的是，uniq 只会对连续的重复元素保留一个，非连续重复元素则不过滤.

In [29]: list([1, 1, 2, 2, 3, 3, 1, 2, 3] | uniq)
Out[29]: [1, 2, 3, 1, 2, 3]

总结

今天派森酱给大家介绍了一个处理数据的神器，使用管道可以让繁琐的操作浓缩在几行甚至一行代码搞定，提高可读性的同时还提升了代码的整洁程度，美滋滋～。

原文地址：https://mp.weixin.qq.com/s/usO9HuqCwqHTACMHWcRPEw 。

最后此篇关于Python 开发神技 -- 使用管道 Pipe的文章就讲到这里了,如果你想了解更多关于Python 开发神技 -- 使用管道 Pipe的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

30

4

0

文章推荐：泛型版 Singleflight：Go 中如何防止缓存击穿？

文章推荐： linux共享上网设置实例详解

文章推荐： Git 删除远程服务器文件同时保留本地文件实例详解

文章推荐：如何用Python保存语音、图片、视频等信息转发给好友

pipe - gnuplot : plot pipe output
我有管道输出 command_a | command_b | ... | command_n 输出是一个数字序列 4.2 -1 ... 0.2 我可以使用 gnuplot 绘制这些数字吗？ (将 gn
python - 套接字类比 : a pipe or two pipes?
关闭。这个问题是opinion-based 。目前不接受答案。想要改进这个问题吗？更新问题，以便 editing this post 可以用事实和引文来回答它。 . 已关闭 6 年前。 Improv
pipe - 在 C++ 中使用 pipe() 管道管道
我目前正在尝试连接父项和子项之间的管道。子级正在执行 sort 并对从父级接收到的输入进行排序。然后 children 写入一个单独的管道。每个进程有两个管道。一个这样 parent 可以将输入发送给
Python os.pipe 与 multiprocessing.Pipe
最近我正在研究 Python 中的并行编程工具。这是 os.pipe 和 multiprocessing.Pipe 之间的两个主要区别。(尽管它们被使用的场合) os.pipe是单向，multipro
yahoo-pipes - 在 Yahoo Pipes 中，如何删除一个字段？
我的站点上运行着 Yahoo Pipe，Romneyomics它使用来自 Delicious 和 Topsy 的饲料。Delicious 提要不提供“描述”字段，但 Topsy 提供，并且不仅仅是一个
haskell - 如何使 Pipe 与 Haskell 的 Pipe 库并发？
我有一些使用管道的 Haskell 代码: module Main(main) where import Pipes a :: Producer Int IO () a = each [1..10]
python - stdout=subprocess.PIPE 和 stdout=PIPE 之间的区别
所以标题几乎解释了我的问题。 stdout=subprocess.PIPE 和 stdout=PIPE 有什么区别？两者都来自 subprocess 模块，但为什么要使用一个而不是另一个呢？你如何使用
unit-testing - Angular 2 单元测试 : Custom Pipe error The pipe could not be found
我有一个名为“myPipe”的自定义管道。我得到: The pipe 'myPipe' could not be found error 在我的单元测试中请建议在我的 .spec.ts 中导入和声明什
python - IOError : [Errno 32] Broken pipe when piping: `prog.py | othercmd`
我有一个非常简单的 Python 3 脚本: f1 = open('a.txt', 'r') print(f1.readlines()) f2 = open('b.txt', 'r') print(f
python - 为什么 pipe.close() 在 python 多处理中的 pipe.recv() 期间不会导致 EOFError？
我正在使用管道和 Python 的多处理模块在进程之间发送简单的对象。文档指出，如果管道已关闭，则调用 pipe.recv() 应该引发 EOFError。相反，我的程序只是阻塞在 recv() 上，
linux - pipe open '|' 和 '|-' 的区别(safe pipe open)
我在 perl 中见过这两种形式的管道 open。一种是简单的管道打开 open FH,'| command'; 其他是安全管道打开 open FH,'|-','command'; 现在，第二个中的
angular - 对话框测试 - 当我模拟 this.store$.pipe( select(...) ...).subscribe(..) 时，Jasmine 返回 this.store$.pipe 不是函数
我正在尝试对我的组件进行单元测试，但它立即生成一个错误: 类型错误:this.store$.pipe 不是函数根据我的理解， createSpyObj 应该模拟状态。我有不同的选项选项，但没有一个起
python - 从 python subprocess.Popen(command, stderr=subprocess.PIPE, stdout=subprocess.PIPE) 捕获 stderr
我在这里看到这个帖子很多次了；但未能从命令中捕获故意错误。迄今为止我找到的最好的部分工作.. from Tkinter import * import os import Image, ImageTk
pipe - 如何在管道命令行中使用第一个程序的返回码
我正在编写一个简单的程序来解析编译器的输出并重新格式化任何错误消息，以便我们使用的 IDE(visual studio)可以解析它们。我们使用 nmake构建，它将使用如下命令行调用编译器: cc16
pipe - 如何将stdin管道传送到Kubernetes中的容器中的容器中？
我有一个在coreos上运行的kubernetes集群。我希望在称为记录的Pod中的容器中运行journal2gelf https://github.com/systemd/journal2gelf。
pipe - 为什么管道中存在不对称行为
为什么当管道中没有写入器时，读取器存在可以，但当管道中没有读取器时，写入器存在就不行？。是不是因为reader需要等待，所以没有writer也没关系，而writer已经准备好数据了，即使数据准备好了
pipe - 重定向后缀命令管道的输出
我在/etc/postfix/master.cf 中创建了一个 postfix 命令管道，其中包含一个在 STDOUT 和 STDERR 上产生输出的有效命令。在终端上调用时一切正常(因此在 STDO
pipe - 如何通过管道传输字符串以处理'STDIN？
我有一个命令需要来自管道的输入。例如，考虑著名的 cat 命令: $ echo Hello | cat Hello 假设我在 Perl 6 程序中有一个字符串，我想将其通过管道传递给命令: use v
RXJS Pipe - 您能否将一个可观察结果附加到另一个可观察结果并获得两个结果？
因此，由于我们拥有各种设置，我习惯于遇到需要将一个可观察结果添加到另一个结果的地方，然后同时使用两者。我需要第一个在另一个之前完成的地方 getUser() .pipe( mergeMap
Angular Pipe 不适用于子路线
我在 Angular 5 中有一个非常简单的管道 import { Pipe, Injectable } from '@angular/core'; @Pipe({ name: "defaul

首页

博学

6Ren·AI

商城