excel - SSIS:根据 Web 查询结果以编程方式创建新的 Excel 文件 - 如何保存 Web 查询表名称？

Question

我想做什么？

我有一个 URL 列表，我想使用 Excel 的 Web 查询功能来抓取这些 URL。我正在尝试完全自动化该过程，因此我正在开发一个为每个 URL 调用脚本任务的 SSIS 包。脚本任务使用 XlWebSelectionType.xlAllTables 创建一个带有工作表的新 Excel 工作簿、激活工作表、添加 QueryTable 连接、刷新 QueryTable 以获取数据。然后保存工作簿并关闭工作簿和 Excel 应用程序。

我正在使用哪些技术？

• VS 2015(企业版)
• SQL Server 2016
• Microsoft Excel 16.0 对象库
• 从 Office 365 专业增强版本地安装 Excel

问题是什么？

虽然脚本任务确实保存了网页上表中的所有数据，但它将它们全部放入单个工作表中，并且不保存表名称。因此，虽然我的数据在工作表中正确分组，但我无法知道哪个“组”数据对应于哪个表。

我想对此做什么？

理想情况下，我希望将每个 QueryTable 表保存到其自己的工作表中，并将表名称设置为工作表名称。除此之外，我需要一种方法来保存表名和相应的数据。在这种情况下，最好将其添加为 QueryTable 中的新列。

到目前为止我有什么？

这是脚本的主要部分:

Public Sub Main()
    Dim URL As String = Dts.Variables("User::URL").Value.ToString()
    Dim FileName As String = Dts.Variables("User::FileName").Value.ToString()
    Dim xlNone As XlWebFormatting = XlWebFormatting.xlWebFormattingNone
    Dim Format As XlFileFormat = XlFileFormat.xlCSVWindows
    Dim ScrapeStatus As Integer = 1

    Dim excel As New Microsoft.Office.Interop.Excel.ApplicationClass

    With excel
        .SheetsInNewWorkbook = 1
        .DisplayAlerts = False
    End With

    Dim wb As Microsoft.Office.Interop.Excel.Workbook = excel.Workbooks.Add()

    With wb
        .Activate()
        .Worksheets.Select(1)
    End With

    Try

        Dim rnStart As Range = wb.ActiveSheet.Range("A1:Z100")
        Dim qtQtrResults As QueryTable = wb.ActiveSheet.QueryTables.Add(Connection:="URL;" + URL, Destination:=rnStart)

        With qtQtrResults
            .BackgroundQuery = False
            .WebFormatting = xlNone
            .WebSelectionType = XlWebSelectionType.xlAllTables
            .Refresh()
        End With

        excel.CalculateUntilAsyncQueriesDone()
        wb.SaveAs(FileName)

        wb.Close()
        excel.Quit()
        System.Runtime.InteropServices.Marshal.ReleaseComObject(excel)
        GC.Collect()
        GC.WaitForPendingFinalizers()
        Dts.TaskResult = ScriptResults.Success

    Catch ex As Exception

        Dts.Variables("User::Error").Value = ex.Message.ToString()
        wb.Saved = True
        wb.Close()
        excel.Quit()
        System.Runtime.InteropServices.Marshal.ReleaseComObject(excel)
        GC.Collect()
        GC.WaitForPendingFinalizers()
        Dts.TaskResult = ScriptResults.Failure

    End Try

End Sub

我得到了什么结果？

对于 URL http://athletics.chabotcollege.edu/information/directory/home#directory，如果我在 Excel 中使用 Web 查询功能，我将获得以下选项: 显示所有表名

但是，当我通过脚本任务拉取所有表时，我最终得到一个与此类似的工作表:

其他信息

我还应该注意，虽然大多数网页具有相似的结构，但并非所有网页都相同。因此，我不能假设每个页面都具有相同的表名，或者以相同的方式构建表。我的解决方案需要动态且灵活。

Answer 1

通过更改 .WebSelectionType = XlWebSelectionType.xlAllTables至.WebSelectionType = XlWebSelectionType.xlEntirePage我能够捕获表格的“名称”。他们实际上是aria-title父级 <section> 内的值每个表的标签。它很丑陋，但它确实返回了我正在寻找的字符串。

我最终保存了 xlAllTables和xlEntirePage查询表作为文本文件。然后我分割了xlAllTables将每个表的文件分成单独的 block ，然后搜索 xlEntirePage表示该表的“字符串”的文本文件，然后我复制带有标题的前一行。然后，我将表格文本保存为新文件，并使用复制的标题作为文件名。它非常hacky，但它做了我需要它做的事情。