c# - 使用 Azure 数据工厂 Web 事件发布表单数据会向 C# 脚本返回不同的结果

Question

我已经到了用这个拉头发的阶段，我希望有人能看看我是否做错了什么。

我正在尝试使用 Azure 数据工厂 Web 事件将一些表单数据发布到网站，但是当我收到响应(我收到页面和一些标题)时，它与我进行 时得到的响应不同使用 C# 和 HttpClient 代码的完全相同相同的请求。我使用 fiddler 查看使用我的 C# 脚本发布的请求，根据数据工厂中给出的请求信息，它们完全相同 - 所以相同的 header 、相同的内容格式等...

此 POST 请求用于登录具有自定义登录机制的网站，因此不幸的是没有 OAuth 或类似的内容。它应该返回一个 cookie，如果我使用我的 C# 脚本，它就会返回一个 cookie，但是如果我使用数据工厂 Web 事件发出相同的 POST 请求，那么我会收到不同的 html 发回(它只返回相同的登录屏幕)并且也不同事件输出的“ADFWebActivityResponseHeaders”部分中的一组响应 header !？!请参阅下面的内容，了解 Web 事件输出响应 header 中返回的内容:-

"ADFWebActivityResponseHeaders": {
    "Pragma": "no-cache",
    "Vary": "Accept-Encoding",
    "X-Frame-Options": "DENY",
    "Cache-Control": "no-store, must-revalidate, no-cache, post-check=0, pre-check=0",
    "Date": "Wed, 09 Sep 2020 08:09:30 GMT",
    "Server": "Microsoft-IIS/8.5"
}

如果我通过 C# 执行此操作，我也会得到一个“Set-Cookie”(奇怪的是，如果我对该网站的主页发出“GET”请求，我会在响应中得到一个“Set-Cookie”! !)，但绝不会通过数据工厂执行此操作。我正在努力了解这如何可能，除非数据工厂以某种方式修改我的请求？下面是我的 C# 代码，非常简单/标准:-

var handler = new HttpClientHandler();
handler.CookieContainer = new CookieContainer();
handler.UseCookies = true;
handler.UseDefaultCredentials = false;

// Create our http client which will perform our web requests
var HttpClient = new HttpClient(handler);
HttpClient.BaseAddress = new Uri("**REMOVED**");

// Some of the extracts take a LONG time, so set the timeout for default of 30mins
HttpClient.Timeout = TimeSpan.FromMinutes(30);

// Set the 'form' parameters we're going to POST to the server in the request
var parameters = new Dictionary<string, string>
{                
    { "username", "**REMOVED**" },
    { "password", "**REMOVED**" }
};

// URL encode the parameters
var content = new FormUrlEncodedContent(parameters);

// Submit our POST with the parameters
var response = await HttpClient.PostAsync("**REMOVED**", content);

运行此代码并使用 fiddler 我看到以下带有 header 的请求，这些是唯一的 header :-

Content-Length: 80 
Content-Type: application/x-www-form-urlencoded

username=REMOVED&password=REMOVED

网络事件的“输入”侧是请求的详细信息，我已在网络事件中添加了 header ，这些 header 是正确的:-

"method": "POST",
"headers": {
    "Content-Type": "application/x-www-form-urlencoded",
    "Content-Length": 80
},
"body": "username=REMOVED&password=REMOVED"

请注意，在数据工厂中，我使用的是自托管集成运行时，因为该网站会阻止不是来 self 们的本地网络/防火墙外部使用的特定 IP 地址的地址。我知道这不是问题，因为我从站点获得正常登录页面的响应(如果我使用 Azure 集成运行时，我会得到拒绝的响应)。

这是数据工厂中网络事件的屏幕截图:-

真的希望有人能看到我错过了什么或者什么......

Answer 1

事实证明，这确实有效，并将在事件的 JSON 输出中列出 cookie，如下所示(请注意，这可以在 ADF 事件的输出中找到，因此您可以从输出中获取 cookie)就像... @activity('登录并获取 cookie').output.ADFWebActivityResponseHeaders["Set-Cookie"] )

但是，在我的情况下，我要发布的网址以 302 响应(暂时移动)，但本应存在的“位置” header 不在 ADFWebActivityResponseHeaders 中 - 这就是我错过它的原因。我尝试将 Chrome 与开发人员工具一起使用，并直接查看响应，这就是我找到 302 响应代码的地方。之后，我只使用了在使用浏览器开发工具时找到的响应 header 中给出的新 URL(即“位置”中的 url)。

不幸的是，在撰写本文时，Azure 数据工厂 HTTP 事件不遵循重定向(并且也不列出所有响应 header !)，因此如果有人遇到相同的问题，他们将需要手动找出并获取任何重定向的 URL。换句话说，尝试使用浏览器/ postman 等工具，如果它在 ADF 中不起作用，请查看响应...您可能会发现正在进行重定向:-)

已记录此 here 的功能请求，请务必投票:)

• 在 MS 决定更改反馈网站上的内容后，进行了编辑以更新 Azure 反馈更改 URL!？!