- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我有一个包含 100 万行的数据框。我有一个函数(我无法矢量化)应用于每一行。我研究了 swifter,它 promise 利用多个进程来加速计算。然而,在 8 核机器上,情况并非如此。
知道为什么吗?
def parse_row(n_print=None):
def f(row):
if n_print is not None and row.name % n_print == 0:
print(row.name, end="\r")
return Feature(
geometry=Point((float(row["longitude"]), float(row["latitude"]))),
properties={
"water_level": float(row["water_level"]),
"return_period": float(row["return_period"])
}
)
return f
In [12]: df["feature"] = df.swifter.apply(parse_row(), axis=1)
Dask Apply: 100%|████████████████████████████████████████| 48/48 [01:19<00:00, 1.65s/it]
In [13]: t = time(); df["feature"] = df.apply(parse_row(), axis=1); print(int(time() - t))
46
最佳答案
这主要取决于所涉及的处理能力以及矢量化/并行处理/优化是否可以改善问题。有时它根本不是解决方案。
还要记住,swifter 需要时间来计算它的预计工作时间跨度,有时 df.apply 会更快,因为它不必计算并且优化可能也没有帮助。
关于python - 为什么 swifter 比 vanilla df.apply 慢?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58310509/
我需要了解 pandas 速度优化。对我的问题非常有效的库更快。但是我不了解文档,尤其是矢量化函数。 我的假设是更快的输入只接受矢量输入,而不是数据帧。错了吗? 在文档中这是向量化函数: def bi
https://github.com/glock45/swifter Swifter 是用 Swift 编程语言编写的微型 http 服务器引擎。当我在我的 mac 上运行它时,控制台显示 Serve
我有一个关于面向对象设计原则和 Swift 的问题。我对 Java 非常熟悉,目前我正在参加一个大胆的类(class),以亲 body 验 Swift。 在 Java 社区中(基本上在每个遵循 OOP
我正在尝试访问 tvOS 社交媒体应用程序的 Twitter 数据作为学校项目。我遇到过 Swifter ( https://github.com/mattdonnelly/Swifter ),并注意
我正在使用 Swifter Library尝试发布带有照片的推文,但每次尝试时,我都会收到错误消息“操作无法完成。(SwifteriOS.SwifterError 错误 1.)” 我的代码看起来像 v
我正在尝试将 Swifter 框架安装到此处由 github 提供的 Xcode: https://github.com/mattdonnelly/Swifter 但是安装的不够清楚,里面没有扩展名为
我使用此库 ( https://github.com/mattdonnelly/Swifter ) 成功验证了我的 Twitter 帐户。 但是我该如何保存 session 呢?因此,如果每次我退出并
有人可以向我解释如何使用适用于 iOS 的 Swifter 成功授权 Twitter (oAuth)。我正在尝试创建一个时间表。 let twitterAccount = Swifter(consum
我正在使用 Swifter Framework使用特定主题标签获取推文,但我还需要用户图像和名称。 通过这种方法,我可以获取推文文本,并且可以从 JSON 响应中读取个人资料图片和用户名,但无法将其放
我有一个包含 100 万行的数据框。我有一个函数(我无法矢量化)应用于每一行。我研究了 swifter,它 promise 利用多个进程来加速计算。然而,在 8 核机器上,情况并非如此。 知道为什么吗
我是一名优秀的程序员,十分优秀!