c# - 高级 HTTP POST 保护？

Question

我在一个无法解决的问题上被困在这里大约 24 小时。

我工作的保险公司依赖于从许多网站请求报价数据，一些用于分析，一些用于向客户报价。我正在为我开发的软件创建一个类，以将新的保险提供商添加到我们当前的提供商。

我主要发送一个包含客户信息和我们推荐的 POST 请求。但对于我的生活，我无法让它发挥作用。我已经这样做了数百次，没有任何问题。

我监控了 Fiddler 中的 header ，并完全复制了它们。该网站似乎唯一设置的是 4 个 cookie 值。一个是 xsrf(当您访问提交页面时自动设置，我可以从源代码中检索它，或者通过访问 CookieContainer)，另外两个似乎与 session 相关但已加密。所以我要做的是让我的软件访问该页面，存储 cookie，然后提交发布请求。

我试过在禁用 JavaScript 的情况下手动提交表单。它有效。所以我可以假设没有使用 JavaScript 设置变量或 cookie。

我不明白为什么没有提交表单。

我唯一能想到的就是cookie中的session数据是加密的，存储的是浏览器提供的一些值。但是，如果没有 JavaScript，浏览器可以提供什么样的值而我的软件不能提供？

我已经设置了所有常用的 User-Agent 等。正如我所说，我已经这样做了数百次并且从未遇到过这样的问题。

我还使用 Fiddler 获取 cookie 信息，并将其直接放入软件(使用与软件上设置的用户代理相同的浏览器)，理论上应该可以，但事实并非如此。

我将我的 POST 请求与来自浏览器的 POST 请求并排比较，它们是相同的。唯一不同的是加密的 session cookie 值。

Web 服务器没有返回任何错误。响应代码是 200。唯一的区别是当报价成功提交时页面将包含文本“报价成功”。这是我无法通过软件实现的。

我已经调用保险公司，他们无法提供帮助，因为他们不管理自己的网站。他们没有 API，但允许我们公司通过软件提出请求，只要我们提供推荐 ID。

对这里可能发生的事情有什么想法吗？

郑重声明，我使用的是 C# 和 HTTPClient。我不确定这是否相关。

编辑:

我注意到的一件事是，在使用浏览器对包含报价单的页面发出 GET 请求时，我注意到服务器返回了以下 header :

 P3P: CP="CAO PSA OUR"

此外，当 POST 请求在浏览器中成功发送时，它也会返回此 header 。

但是，当我使用软件发出 GET 请求时，我注意到服务器使用 P3P header 进行响应，但 POST 请求却没有。这可能是相关的/重要的吗？

Answer 1

你可能比我早很多，而且看起来很奇怪，但他们有没有可能使用某种形式的临时或请求条件保护？例如:

• 您必须在发布表单之前请求 X 页面和 Y 页面(加密的 cookie 可能包括先前请求的 URI，或来自服务器的结果 session 状态)

• 您必须在发布表单前 n 秒请求 X 页 Y(加密的 cookie 可能包括该日期/时间)

• 您之前/在特定时间范围内不得发布此表单，并且 cookie 会相应调整/不调整

也许某些程序员试图阻止自动提交或关闭假设的攻击向量。

我不确定您是否已经这样做了，但可能值得尝试使用清除 cookie 从其首页(或者尽可能接近以手动提交表单)进行干净的站点访问并从一开始就缓存和观察 HTTP 请求/响应流量，以查看:

• 浏览器在每个请求中发送的确切 header
• 哪个响应包含有问题的 cookie(以及该请求包含的内容)

要做到这一点，我可能是在向合唱团布道，但使用 Chrome 浏览器，您可以清除 cookie，打开一个空白标签，按 F12 键打开开发工具，输入一个 URL，然后通过 F12 键的窗口，选择网络，您将看到所有请求/响应对的列表。单击任意一个并查看请求和响应源文本，并查找 Cookies 选项卡，它可以让您查看已发送 和 收到的 cookies - 这样您就可以看到哪个请求产生了 cookies。也许对该页面的访问是强制性的/被跟踪的。

(谷歌搜索表明 P3P header is an electronic privacy statement 不太可能相关。)