gpt4 book ai didi

python - 为什么 R 的 read.csv() 可以从 GitLab URL 读取 CSV 而 pandas 的 read_csv() 不能?

转载 作者:行者123 更新时间:2023-12-04 13:11:38 24 4
gpt4 key购买 nike

我注意到 Pandas 的 read_csv() 无法读取托管在 GitLab 上的公共(public) CSV 文件:

import pandas as pd
df = pd.read_csv("https://gitlab.com/stragu/DSH/-/raw/master/Python/pandas/spi.csv")

我得到的错误(截断):

HTTPError                                 Traceback (most recent call last)
<ipython-input-3-e1c0b52ee83c> in <module>
----> 1 df = pd.read_csv("https://gitlab.com/stragu/DSH/-/raw/master/Python/pandas/spi.csv")

[...]

~\Anaconda3\lib\urllib\request.py in http_error_default(self, req, fp, code, msg, hdrs)
647 class HTTPDefaultErrorHandler(BaseHandler):
648 def http_error_default(self, req, fp, code, msg, hdrs):
--> 649 raise HTTPError(req.full_url, code, msg, hdrs, fp)
650
651 class HTTPRedirectHandler(BaseHandler):

HTTPError: HTTP Error 403: Forbidden

然而,使用 R,基函数 read.csv() 愉快地读取它:

df <- read.csv("https://gitlab.com/stragu/DSH/-/raw/master/Python/pandas/spi.csv")
head(df)
#> country_code year spi
#> 1 AFG 2020 42.29
#> 2 AFG 2019 42.34
#> 3 AFG 2018 40.61
#> 4 AFG 2017 38.94
#> 5 AFG 2016 39.65
#> 6 AFG 2015 38.62

reprex package 创建于 2020-10-29 (v0.3.0)

知道这是为什么吗?R 是如何实现的?

使用的版本:

  • R 4.0.3
  • python 3.7.9
  • Pandas 1.1.3

最佳答案

如果您正在寻找解决方法,我建议您通过 requests 发出 GET 请求图书馆:

import requests
from io import StringIO

url = "https://gitlab.com/stragu/DSH/-/raw/master/Python/pandas/spi.csv"
df = pd.read_csv(StringIO(requests.get(url).text))
df.head()
country_code year spi
0 AFG 2020 42.290001
1 AFG 2019 42.340000
2 AFG 2018 40.610001
3 AFG 2017 38.939999
4 AFG 2016 39.650002

至于“为什么”的部分,我看到了read_csv internally uses urllib for standard URLs ,显然有问题的 API 可能会阻止请求,因为它认为您是爬虫。如果我重复相同的过程,但添加了“User-Agent” header ,请求就会成功。

TLDR; pandas 做了什么和失败了什么:

from urllib.request import Request, urlopen

req = Request(<URL>)
urlopen(req).read() # fails

pandas 应该做些什么才能让它起作用:

req = Request(<URL>)
req.add_header('User-Agent', <literally anything>)
urlopen(req).read() # succeeds

关于python - 为什么 R 的 read.csv() 可以从 GitLab URL 读取 CSV 而 pandas 的 read_csv() 不能?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64585328/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com