sql - 如何下载网页并用SQL解析

Question

我只是想下载一个网页并将其以可访问的格式存储在 SQL Server 2012 中。我已经求助于使用动态 SQL，但也许有更简洁、更简单的方法来执行此操作。我已经能够使用下面的代码将 htm 文件成功下载到我的本地驱动器，但是我在使用 html 本身时遇到了困难。我正在尝试将网页转换为 XML 并从那里解析，但我认为我没有正确处理 HTML 到 XML 的转换。

我收到以下错误，“不允许使用内部子集 DTD 解析 XML。将 CONVERT 与样式选项 2 一起使用以启用有限的内部子集 DTD 支持”

DECLARE @URL      NVARCHAR(500);
DECLARE @Ticker   NVARCHAR(10)
DECLARE @DynamicTickerNumber INT
SET @DynamicTickerNumber = 1

CREATE TABLE Parsed_HTML(
[Date] DATETIME
,[Ticker]    VarChar (8)
,[NodeName] VarChar (50)
,[Value]    NVARCHAR (50));

WHILE @DynamicTickerNumber <= 2
BEGIN

SET @Ticker = (SELECT [Ticker] FROM [Unique Tickers Yahoo] WHERE [Unique Tickers Yahoo].[Ticker Number]= @DynamicTickerNumber)

SET @URL ='http://finance.yahoo.com/q/ks?s=' + @Ticker + '+Key+Statistics'

DECLARE @cmd      NVARCHAR(250);
DECLARE @tOutput  TABLE(data NVARCHAR(100));
DECLARE @file     NVARCHAR(MAX);

SET @file='D:\Ressources\Execution Model\Execution Model for SQL\DB Temp\quoteYahooHTML.htm'
SET @cmd ='powershell "(new-object System.Net.WebClient).DownloadFile('''+@URL+''','''+@file+''')"'

EXEC master.dbo.xp_cmdshell @cmd, no_output

CREATE TABLE XmlImportTest
(
xmlFileName VARCHAR(300),
xml_data xml
);

DECLARE @xmlFileName VARCHAR(300)
SELECT  @xmlFileName = 'D:\Ressources\Execution Model\Execution Model for SQL\DB Temp\quoteYahooHTML.htm'


EXEC('
INSERT INTO XmlImportTest(xmlFileName, xml_data)

SELECT ''' + @xmlFileName + ''', xmlData 
FROM
(
SELECT  * 
FROM    OPENROWSET (BULK ''' + @xmlFileName + ''' , SINGLE_BLOB) AS XMLDATA
) AS FileImport (XMLDATA)
')

DECLARE @x XML;
DECLARE @string VARCHAR(MAX);
SET @x = (SELECT xml_data FROM XmlImportTest)
SET @string = CONVERT(VARCHAR(MAX), @x, 1);

INSERT INTO [Parsed_HTML] ([NodeName], [Value])
SELECT [NodeName], [Value] FROM dbo.XMLTable(@string)
--above references XMLTable Parsing function that works consistently

END

不幸的是，这需要在 SQL Server 的范围内运行，我的理解是 HTML Agility Pack 不能立即兼容。我还注意到中间表 XMLimportTest 从未被填充，因此这可能不是格式错误的 HTML 的函数。

Answer 1

简短的回答:不要。

SQL 在某些方面非常好，但对于下载和解析 HTML，它是一个糟糕的选择。在您的示例中，您使用 PowerShell 下载文件，为什么不在 PowerShell 中也解析 HTML？然后，您可以将解析后的数据写入 CSV 文件之类的文件中，并使用 OPENROWSET 加载它。

另一种选择，仍然不使用 SQL，但在 SQL Server 中使用更多可能是通过 SQL CLR 使用 .Net SP .

正如一些评论所指出的，如果您可以保证 HTML 是格式正确的 XML，那么您可以使用 SQL XML 功能来解析它，但是网页很少是格式正确的 XML，因此这是一个冒险的选择。