gpt4 book ai didi

python - 我可以异步执行 "apply"中的函数到 pandas 数据帧吗?

转载 作者:太空宇宙 更新时间:2023-11-03 14:37:18 27 4
gpt4 key购买 nike

我有一个 pandas 数据框,我想在每一行上执行一个函数。但是,该函数包括对远程服务器的 I/O 调用,因此如果我简单地使用 .apply() 调用它,它会非常慢。

这是一个例子:

def f(data):
r = requests.get(data["url"])
x = process(r.content)
y = process_2(r.content)
z = process_3(r.content)
print("Done")

return [x, y, z]

df.apply(lambda x: f(x), axis=1)

在这段代码中,问题是 requests.get(data["url"]) 需要一段时间,因此整个 apply() 函数在精加工。 print() 以几秒的间隔打印在控制台上。

是否可以异步执行apply()函数并更快地得到结果?我的数据框有 5,000 多行,对每个原始数据的函数调用应该需要几秒钟。

最佳答案

异步 I/O 方法与众所周知的 asyncio + aiohttp库:

演示了示例 Dataframe 和简单的网页内容处理例程(以展示该方法的机制)。
假设我们需要通过所有 urls 和将生成的计数器存储在源数据框中。

import pandas as pd
import asyncio
import aiohttp
from bs4 import BeautifulSoup


def count_headers(html):
return len(list(html.select('h1,h2,h3,h4,h5,h6')))

def count_links(html):
return len(list(html.find_all('a')))

def count_spans(html):
return len(list(html.find_all('spans')))


df = pd.DataFrame({'id': [1, 2, 3], 'url': ['https://stackoverflow.com/questions',
'https://facebook.com',
'https://wiki.archlinux.org']})
df['head_c'], df['link_c'], df['span_c'] = [None, None, None]
# print(df)

async def process_url(df, url):
async with aiohttp.ClientSession() as session:
resp = await session.get(url)
content = await resp.text()
soup = BeautifulSoup(content, 'html.parser')
headers_count = count_headers(soup)
links_count = count_links(soup)
spans_count = count_spans(soup)
print("Done")

df.loc[df['url'] == url, ['head_c', 'link_c', 'span_c']] = \
[[headers_count, links_count, spans_count]]


async def main(df):
await asyncio.gather(*[process_url(df, url) for url in df['url']])
print(df)


loop = asyncio.get_event_loop()
loop.run_until_complete(main(df))
loop.close()

输出:

Done
Done
Done
id url head_c link_c span_c
0 1 https://stackoverflow.com/questions 25 306 0
1 2 https://facebook.com 3 55 0
2 3 https://wiki.archlinux.org 15 91 0

享受性能差异。

关于python - 我可以异步执行 "apply"中的函数到 pandas 数据帧吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56925702/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com