php - 针对相同的 XML 模式 (XSD) 加速一批 XML 文件的 XML 模式验证

Question

我想加快根据同一个 XML 架构 (XSD) 验证一批 XML 文件的过程。唯一的限制是我在 PHP 环境中。

我当前的问题是我要验证的模式包括相当复杂的 2755 行 xhtml 模式 (http://www.w3.org/2002/08/xhtml/xhtml1-transitional.xsd)。即使对于非常简单的数据，这也需要很长时间(验证大约 30 秒)。因为我的批处理中有数千个 XML 文件，所以这并不能很好地扩展。

为了验证 XML 文件，我使用了标准 php-xml 库中的这两种方法。

• DOMDocument::schemaValidate
• DOMDocument::schemaValidateSource

我认为 PHP 实现通过 HTTP 获取 XHTML 模式并构建一些内部表示(可能是 DOMDocument)，并且在验证完成时将其丢弃。我在想 XML-libs 的某些选项可能会改变这种行为，以便在此过程中缓存某些内容以供重用。

我构建了一个简单的测试设置来说明我的问题:

test-schema.xsd

<xs:schema attributeFormDefault="unqualified"
    elementFormDefault="qualified"
    targetNamespace="http://myschema.example.com/"
    xmlns:xs="http://www.w3.org/2001/XMLSchema"
    xmlns:myschema="http://myschema.example.com/"
    xmlns:xhtml="http://www.w3.org/1999/xhtml">
    <xs:import
        schemaLocation="http://www.w3.org/2002/08/xhtml/xhtml1-transitional.xsd"
        namespace="http://www.w3.org/1999/xhtml">
    </xs:import>
    <xs:element name="Root">
        <xs:complexType>
            <xs:sequence>
                <xs:element name="MyHTMLElement">
                    <xs:complexType>
                        <xs:complexContent>
                            <xs:extension base="xhtml:Flow"></xs:extension>
                        </xs:complexContent>
                    </xs:complexType>
                </xs:element>
            </xs:sequence>
        </xs:complexType>
    </xs:element>
</xs:schema>

test-data.xml

<?xml version="1.0" encoding="UTF-8"?>
<Root xmlns="http://myschema.example.com/" xmlns:xhtml="http://www.w3.org/1999/xhtml" xmlns:xml="http://www.w3.org/XML/1998/namespace" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://myschema.example.com/ test-schema.xsd ">
  <MyHTMLElement>
    <xhtml:p>This is an XHTML paragraph!</xhtml:p>
  </MyHTMLElement>
</Root>

schematest.php

<?php
$data_dom = new DOMDocument();
$data_dom->load('test-data.xml');

// Multiple validations using the schemaValidate method.
for ($attempt = 1; $attempt <= 3; $attempt++) {
    $start = time();
    echo "schemaValidate: Attempt #$attempt returns ";
    if (!$data_dom->schemaValidate('test-schema.xsd')) {
        echo "Invalid!";
    } else {
        echo "Valid!";
    }
    $end = time();
    echo " in " . ($end-$start) . " seconds.\n";
}

// Loading schema into a string.
$schema_source = file_get_contents('test-schema.xsd');

// Multiple validations using the schemaValidate method.
for ($attempt = 1; $attempt <= 3; $attempt++) {
    $start = time();
    echo "schemaValidateSource: Attempt #$attempt returns ";
    if (!$data_dom->schemaValidateSource($schema_source)) {
        echo "Invalid!";
    } else {
        echo "Valid!";
    }
    $end = time();
    echo " in " . ($end-$start) . " seconds.\n";
}

运行这个 schematest.php 文件会产生以下输出:

schemaValidate: Attempt #1 returns Valid! in 30 seconds.
schemaValidate: Attempt #2 returns Valid! in 30 seconds.
schemaValidate: Attempt #3 returns Valid! in 30 seconds.
schemaValidateSource: Attempt #1 returns Valid! in 32 seconds.
schemaValidateSource: Attempt #2 returns Valid! in 30 seconds.
schemaValidateSource: Attempt #3 returns Valid! in 30 seconds.

非常欢迎任何有关如何解决此问题的帮助和建议!

Answer 1

您可以安全地从时间值中减去 30 秒作为开销。

对 W3C 服务器的远程请求被延迟，因为大多数库没有反射(reflect)缓存文档(甚至 HTTP header 也表明了这一点)。但是read your own :

The W3C servers are slow to return DTDs. Is the delay intentional?

Yes. Due to various software systems downloading DTDs from our site millions of times a day (despite the caching directives of our servers), we have started to serve DTDs and schema (DTD, XSD, ENT, MOD, etc.) from our site with an artificial delay. Our goals in doing so are to bring more attention to our ongoing issues with excessive DTD traffic, and to protect the stability and response time of the rest of our site. We recommend HTTP caching or catalog files to improve performance.

W3.org 试图将请求保持在较低水平。这是可以理解的。 PHP 的 DomDocument 基于 libxml。 libxml 允许设置外部实体加载器。整体Catalog support section在这种情况下很有趣。

要解决问题，设置一个 catalog.xml 文件:

<?xml version="1.0"?>
<catalog xmlns="urn:oasis:names:tc:entity:xmlns:xml:catalog">
    <system systemId="http://www.w3.org/2002/08/xhtml/xhtml1-transitional.xsd"
            uri="xhtml1-transitional.xsd"/>
    <system systemId="http://www.w3.org/2001/xml.xsd"
            uri="xml.xsd"/>
</catalog>

保存两个 .xsd 文件的副本，并在目录旁边使用该目录文件中给出的名称(相对和绝对路径 file:///... 如果您喜欢不同的目录，请执行此操作)。

然后确保您的系统环境变量 XML_CATALOG_FILES 设置为 catalog.xml 文件的文件名。当一切都设置好后，验证将通过:

schemaValidate: Attempt #1 returns Valid! in 0 seconds.
schemaValidate: Attempt #2 returns Valid! in 0 seconds.
schemaValidate: Attempt #3 returns Valid! in 0 seconds.
schemaValidateSource: Attempt #1 returns Valid! in 0 seconds.
schemaValidateSource: Attempt #2 returns Valid! in 0 seconds.
schemaValidateSource: Attempt #3 returns Valid! in 0 seconds.

如果仍然需要很长时间，则表明环境变量没有设置到正确的位置。我在博客文章中也处理了变量和一些边缘情况:

• Using Catalogs for Validation with PHP’s DOMDocument and Libxml2 .

它应该处理各种边缘情况，例如包含空格的文件名。

或者，可以创建一个简单的外部实体加载器回调函数，该函数使用 URL => 数组形式的本地文件系统的文件映射:

$mapping = [
     'http://www.w3.org/2002/08/xhtml/xhtml1-transitional.xsd'
         => 'schema/xhtml1-transitional.xsd',

     'http://www.w3.org/2001/xml.xsd'                          
         => 'schema/xml.xsd',
];

如图所示，我已将这两个 XSD 文件的逐字副本放入名为 schema 的子目录中。下一步是利用 libxml_set_external_entity_loader使用映射激活回调函数。磁盘上已经存在的文件是首选并直接加载。如果例程遇到没有映射的非文件，将抛出 RuntimeException 并附有详细消息:

libxml_set_external_entity_loader(
    function ($public, $system, $context) use ($mapping) {

        if (is_file($system)) {
            return $system;
        }

        if (isset($mapping[$system])) {
            return __DIR__ . '/' . $mapping[$system];
        }

        $message = sprintf(
            "Failed to load external entity: Public: %s; System: %s; Context: %s",
            var_export($public, 1), var_export($system, 1),
            strtr(var_export($context, 1), [" (\n  " => '(', "\n " => '', "\n" => ''])
        );

        throw new RuntimeException($message);
    }
);

设置此外部实体加载器后，远程请求不再有延迟。

就是这样。参见 Gist .注意:这个外部实体加载器是为加载 XML 文件而编写的，以从磁盘进行验证并将 XSD URI“解析”为本地文件名。其他类型的操作(例如基于 DTD 的验证)可能需要一些代码更改/扩展。更可取的是 XML 目录。它还适用于不同的工具。