python - 如何连接 pandas.read_html 的结果列表

Question

我可以使用下面的代码从一个 URL 打印/获取 CSV 数据框

import bs4 as bs
import pandas as pd

dfs = pd.read_html('http://www.url1.com',header=0)


for df in dfs:
    print(df.head())
df.to_csv('File.csv')

我想将多个数据帧连接成一个。

• dataframe1 来自 http://www.url1.com
• dataframe2 来自 http://www.url2.com
• ...
• dataframeN 来自 http://www.urlN.com

将所有数据帧合并为一个数据帧并将其导出到“file.csv”。

Answer 1

您可以使用 pandas.concat 连接数据帧:

import pandas as pd

urls = ['http://www.url1.com',
        'http://www.url2.com',
        'http://www.url3.com']

df = pd.concat([pd.concat(pd.read_html(url, header=0), axis=0) for url in urls], axis=0)

df.to_csv('file.csv')

---

解释

• pd.concat 连接数据帧列表。
• pd.read_html 返回数据帧列表。
• 因此，要连接数据帧列表的列表，即 pd.read_html 输出列表，您需要使用嵌套的 pd.concat。