python - Web 抓取导致 403 禁止错误-6ren

python - Web 抓取导致 403 禁止错误

转载作者：太空宇宙更新时间：2023-11-03 14:46:34

25

4

我正在尝试使用 BeautifulSoup 通过网络从 SeekingAlpha 中抓取每家公司的 yield 。但是，该站点似乎正在检测到正在使用网络抓取工具？我收到“HTTP 错误 403:禁止”

我试图抓取的页面是:https://seekingalpha.com/symbol/AMAT/earnings

有谁知道可以做些什么来绕过这个？

最佳答案

您应该尝试将 User-Agent 设置为请求 header 之一。值可以是任何已知的浏览器。

示例:

Mozilla/5.0(Macintosh；Intel Mac OS X 10_12_6)AppleWebKit/537.36(KHTML，如 Gecko)Chrome/63.0.3239.132 Safari/537.36

关于python - Web 抓取导致 403 禁止错误，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/48756326/

25

4

0

文章推荐： python - 如何防止 float 不精确影响 numpy.arange？

文章推荐： python - Matplotlib:Line2D 高度(以像素为单位)

文章推荐： python - 关键事件似乎卡在使用 `turtle.onkey(function(), "键")`

javascript - 发布 npm 时，获取 npmpublish npm ERR! 403 禁止 PUT https://registryname/- 禁止
我正在尝试使用 npmpublish 命令发布包。但我每次都会收到此错误。 npm ERR! code E403 npm ERR! 403 Forbidden - PUT https://regist
本地主机 WAMP 禁止
我在 WAMP 上访问我的本地主机(最后是 phpmyadmin)时遇到问题。当我输入 localhost或 http://127.0.0.1进入我的浏览器，我收到以下消息: Forbidden Y
javascript - 403(禁止)
我正在尝试发送 $ajax，并且我已经得到了它，但是我必须使用我的表单发送文件，无论是否相同，都没关系。尚未找到 csrf token ，并且出现错误。我的 JavaScript $(doc
javascript - 无法通过请求模块抓取数据 - 禁止
我有一个奇怪的问题，我试图使用请求模块废弃某些页面，但这样做时我收到 403 访问被拒绝。但我完全能够使用 Node 的curl 模块来完成此操作。但互联网上的人们认为，它比请求模块更需要性能，因为我
javascript - 禁止/踢出命令在使用时崩溃
所以，我正在制作一个公共(public)的不和谐机器人，但我的脚本的一部分有问题。我的 kick/ban 命令是用来完成的 $ban @user 它必须在 ping 中完成。由于这是公开的，我真的很想
ssl - 浏览器在代理后面被阻止(禁止)
我在负载均衡器后面有 2 个服务器。此 LB 上配置了 SSL。将近 50 个不同的客户端能够成功连接到我的网站，除了 1 个客户端从浏览器收到禁止 (403) 消息。经过一番调查，我发现他在代理服
pytorch 禁止/允许计算局部梯度的操作
1、禁止计算局部梯度 torch.autogard.no_grad: 禁用梯度计算的上下文管理器。当确定不会调用Tensor.backward()计算梯度时，设置禁止计算梯度会减少内存消耗。
perl - 禁止 Moose 类中的非属性参数
如果 Moose 的构造函数调用中有额外的参数不是属性，有没有办法死？例如，这个: package Shoe; use Moose; has 'size' => (is => 'ro', isa =
nginx - 让我们加密未经授权的 403 禁止
在服务器上，安装了 Nginx。 Let's Encrypt 在 www.domain.com 上运行良好，但不适用于 static.domain.com 使用 PuTTY，当我输入时:sudo le
emacs - 禁止 emacs 自动填充选定区域
我使用 emacs 来编辑所有内容。在我的一些 LateX 文档中，我想在编辑表格和代码时自动禁用自动填充模式。基本上，我想要两个标签，例如: %%% BEGIN NO FILL %%%
Azure 存储模拟器 403 禁止
通过 Nuget，我将 WindowsAzure.Storage 升级到 8.1.1。然后，我下载了 AzureStorageEmulator 5.1.0.0 客户端。我的连接字符串: UseDe
Qt:信号的返回值有效，为什么官方文档说不可能/禁止？
Qt documentation说，信号的返回值是不可能的: Signals are automatically generated by the moc and must not be implem
prompt - 禁止 GPG 命令中的密码提示
编辑版本我有一个关于 GPG 的问题，但我写了所有的过程，也许它会对某人有所帮助。我想:禁止 GPG 命令中的密码提示。我不想:使用 -c 选项(--对称)。我有 2 个系统 Linux 和
pharo - 禁止 token 解析多余的空格
现在的想法是这样的:在 Java 中为 octalIntegerLiteral我有一个规则 octalNumeral, (integerTypeSuffix optional) 但我想得到一个数字作为
pydev - 禁止 PyDev 中的警告
我在 Python 项目中所有模块的开头使用以下内容: import setup_loggers setup_loggers是一个可以做到这一点的模块。 import语句确保无论首先加载哪个模块，记录
php - 禁止 XAMPP 访问
我刚刚下载了最新版本的 XAMPP，PHP 版本为 7.2.4。我为 HTML 表单做了一个非常简单的 PHP 验证，当我按下提交时，它会出现以下内容: Access forbidden!You do
apache2 - Vagrant 403 禁止
我已经成功运行 Vagrant 大约一个星期了。昨晚我运行了 vagrant reload，现在我无法再访问我的网站。 VirtualBox 版本 4.2.16 Vagrant 版本 1.2.7 我的
javascript - 获取音频标签的 403(禁止)
我使用以下 JavaScript 代码在完成 ajax 后播放音频: $(document).ready(function () { $.ajaxSetup(
javascript - 最终用户控制台上的 403(禁止)
我有一个似乎可以在互联网上运行的应用程序。但我接到了一位最终用户的电话，他在使用website时遇到困难。我要求她发送控制台错误的屏幕截图并收到以下信息: 从 stackoverflow 搜索来看，
svn:MKACTIVITY 403 禁止
我在尝试提交到 svn 存储库时遇到此错误: svn: MKACTIVITY of '/svn/Demo/!svn/act/e2e65cfa-...4165f': 403 Forbidden (htt

首页

博学

6Ren·AI

商城

python - Web 抓取导致 403 禁止错误