c# - 改进解析解决方案

Question

所以问题的基本前提是我们有一个文本文件，其中包含可能是也可能不是 Web 服务的数据列表。从文本文件中存在的 Web 服务列表中，我想解析每个 Web 服务可用的 Web 方法并将此数据发布到 Excel 工作表。

我会给你一个测试数据的例子:

<Resource Name="APP1">
    <Uri UriType="PAGE" ResourceUri="http://exampleurl/default.aspx" />
</Resource>
<Resource Name="App2">
    <Uri UriType="PAGE" ResourceUri="http://exampleurl2/example.aspx" />
</Resource>
<Resource Name="App3">
    <Uri UriType="PAGE" ResourceUri="http://exampleurl3/exampleapp.asmx" />
</Resource>

基本上，最后一行是我想使用的行。另一个可用行的例子是

<Resource Name="Example" WSDL="http://example.wsdl">
    <Uri UriType="ASMX" ResourceUri="http://example.asmx" />
</Resource>

所以，我实际上是在寻找 .asmx 和 .wsdl 文件。我考虑这个问题的方式是将我的输入标准化，只为这些 Web 服务中的每一个寻找 WSDL，因此对于具有 .asmx 的 URL，我将添加 ?wsdl.

现在，下面是我已经实现的解决方案。由于源文件中有数以千计的 Web 服务，并且可能有 n 个 Web 方法，我发现执行时间长达 1-2 小时。我想知道是否可以进一步改进此解决方案以加快运行时间。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.IO;
using System.Text.RegularExpressions;
using System.Xml;
using System.Net;
using System.Data;
using ClosedXML.Excel;

namespace ParseWebservices
{
    class Program
    {
        static void Main(string[] args)
        {

            var lines = File.ReadAllText(@"PATH\SourceFIle.xml");
            int count = 0;
            string text = "";
            DataTable Webservices= new DataTable();
            Webservices.Columns.Add("Wsdl URL");
            Webservices.Columns.Add("Webservice Name");
            Webservices.Columns.Add("WebMethod");

            Regex r = new Regex("(?<=ResourceUri=\")(.*)(.asmx)(?=\")", RegexOptions.IgnoreCase);
            Match m = r.Match(lines.ToString());
            while (m.Success)
            {


                try
                {

                    string[] test = m.ToString().Split('/');
                    string webservicename = test[test.Length - 1].Replace(".asmx", "");
                    string wsdlurl="";

                    var webClient = new WebClient();
                    string readHtml="";
                    try
                    {
                        readHtml = webClient.DownloadString(wsdlurl);
                    }
                    catch (Exception excxx)
                    {
                        wsdlurl = m.ToString().Replace(".asmx", ".wsdl");
                        readHtml = webClient.DownloadString(wsdlurl);
                    }

                    int count2 = 0;
                    string text2 = "";
                    Regex r2 = new Regex(@"(?<=s:element name\=\"")(.*)(?=Response"")", RegexOptions.IgnoreCase);
                    Match m2 = r2.Match(readHtml);
                    while (m2.Success)
                    {
                        DataRow dr = Webservices.NewRow();

                        dr[0] = wsdlurl;
                        dr[1] = webservicename;
                        dr[2] = m2.ToString();
                        Console.WriteLine(wsdlurl + "\n" + webservicename + "\n" + m2.ToString());
                        Webservices.Rows.Add(dr);
                        count2++;
                        m2 = m2.NextMatch();
                    }
                    count++;
                    m = m.NextMatch();
                }
                catch (Exception ex)
                {
                    m = m.NextMatch();
                }
            }

            XLWorkbook wb = new XLWorkbook();
            wb.Worksheets.Add(Webservices, "Example");
            wb.SaveAs(@"PATH\example.xlsx");
        }
    }
}

我不喜欢这个解决方案的一点是它依赖于异常。因为正则表达式匹配 .asmx 字符串，我意识到它无法找到 .wsdl 的字符串。但我也注意到，在包含.wsdl 的源文本中，.asmx 前缀是完全相同的。所以我为那些测试用例添加了错误处理，但绝对不理想。

无论如何，如果有任何关于如何改进并使其更快(更好!)的建议，我将不胜感激。

Answer 1

这很慢，因为它是在一个线程上完成的! (无论是 xml 还是 regex 都与速度缓慢无关:真正拖慢你速度的是所有内联网络请求)

没有您的源文件就很难做一个工作示例，所以我编写了一个辅助扩展来异步加载 Urls 列表 - 您显然需要围绕它填充代码。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.IO;
using System.Text.RegularExpressions;
using System.Xml;
using System.Net;
using System.Data;
using System.Collections.Concurrent;

using System.Threading.Tasks;

namespace ParseWebservices
{
    static class UrlLoaderExtension
    {
    public static async Task<ConcurrentDictionary<string, string>> LoadUrls(this IEnumerable<string> urls)
    {
        var result = new ConcurrentDictionary<string,string>();                
        Task[] tasks = urls.Select(url => {
            return Task.Run(async () =>
            {
                using (WebClient wc = new WebClient())
                {
                    // Console.WriteLine("Thread: " + System.Threading.Thread.CurrentThread.ManagedThreadId);
                    try
                    {
                        var r = await wc.DownloadStringTaskAsync(url);
                        result[url] = r;
                    }
                    catch (Exception err)
                    {
                        result[url] = err.Message;
                    }
                }
            });
        }).ToArray();                
        await Task.WhenAll(tasks);
        return result;
    }
    }

    class Program
    {
        static void Main(string[] args)
        {
            var requests = new ConcurrentDictionary<string,string>();

            // load desired urls into the structure
            requests["http://www.microsoft.com"] = null;
            requests["http://www.google.com"] = null;
            requests["http://www.google.com/asdfdsaf"] = null;

            try
            {
                Task.Run(async () =>
                {
                    requests = await requests.Keys.LoadUrls();
                }).GetAwaiter().GetResult();
            }
            catch (Exception ex)
            {
                Console.WriteLine("Error: " + ex.Message);
                Console.ReadLine();
                return;
            }

            Console.WriteLine("Finished loading data concurrently");
            Console.ReadLine();

            // this part is synchronous (it's not waiting for IO)
            foreach(var url in requests.Keys)
            {
                var response = requests[url];
                Console.WriteLine(response); // 
                Console.WriteLine("Response from " + url);
                Console.ReadLine();
            }



            Console.Write("DONE");
            Console.ReadLine();
        }
    }
}

我建议您将您的 url 放入此演示中，以了解您能够以多快的速度加载数据:它告诉您加载完成的时间点是它收集了所有响应。

然后，在您确定这有多快(非常!)之后，您将有动力围绕它填充其他逻辑:)

希望对您有所帮助!