python - 如何实现请求的多线程或多处理

Question

我正在寻找实现 request 的多线程或多处理对象。

我的代码如下:

def validate(testurl):
    json_d = {"task_id": "user_uid","data": {"document1":testurl}} 
    response = requests.post("https://example.net.com/document",headers=headers,json=json_d)
    my_data1 = response.text
    with open("testurl.txt","a+") as file:
        file.write(my_data1)
    my_data = json.loads(my_data1)
    result = {'bool_value':my_data['data']}
    return result

有没有办法对 Pandas 进行多线程或多处理 apply()超过 5000 个网址的功能？例如:

df['res'] = df['testurl'].apply(validate)

我应该在下面使用这个吗？

from joblib import parallel, delayed

Answer 1

您可以使用 swifter 或 dask 来执行此操作。可以引用https://gdcoder.com/speed-up-pandas-apply-function-using-dask-or-swifter-tutorial/

df['res'] = df['testurl'].swifter.apply(lambda x: validate(x))