个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
24
4
在数据基础设施和管道方面，我是一位经验丰富的 Azure 用户。然而，我是处理 XML 数据的新手，而且我的具体情况似乎有些复杂。在耗尽我的资源后，我向社区寻求帮助。
请注意，显示的所有数据均为演示数据。没有 PII 被泄露
XML 数据存在于我的 blob (ADLS2) 中。我正在使用数据工厂 V2 复制事件将数据复制到我的 Azure SQL 数据库中。所有权限均已适当配置。
请注意，在“申请人”部分内的 XML 中，您可以看到始终存在的“主要”的“类型”。如果有共同借款人，那么将会有第二个“申请人”部分，类型为“共同借款人”。
有问题的 XML 部分:
<LoanExport>
<Application>
<GeneratedDate>06/15/2023</GeneratedDate>
<BusinessApplication/>
<ApplicationNumber>132</ApplicationNumber>
<ApplicationType>Joint</ApplicationType>
<Business>false</Business>
<Applicants>
<Applicant>
<Type>primary</Type>
<FirstName>Robert</FirstName>
<LastName>Ice</LastName>
<MiddleName/>
<NameSuffix/>
<DateOfBirth>02/22/1992</DateOfBirth>
<CreditScore/>
<SocialSecurityNumber>666423221</SocialSecurityNumber>
<IsUSCitizen>true</IsUSCitizen>
<PhoneNumber>5555555555</PhoneNumber>
<WorkPhoneNumber/>
<CellularPhoneNumber>3334445555</CellularPhoneNumber>
<EmailAddress><a href="https://stackoverflow.com/cdn-cgi/l/email-protection" class="__cf_email__" data-cfemail="b0d4d5dddfdddd8981cad6c4f0c4d3d9d3c2d5d4d9c49ed3dfdd" rel="noreferrer noopener nofollow">[email protected]</a></EmailAddress>
<DriversLicense/>
<DriversLicenseState/>
<DriversLicenseExpirationDate/>
<DriversLicenseIssueDate/>
<MaritalStatus>false</MaritalStatus>
<Addresses>
<Address>
<Type>Primary</Type>
<Address>
<Number>1</Number>
<StreetPrefix/>
<StreetName>Hawk Drive</StreetName>
<StreetType/>
<StreetSuffix/>
<ApartmentOrSuiteNumber/>
<PostalCode>60750</PostalCode>
<City>FANTASY ISLAND</City>
<State>MD</State>
</Address>
<TimeAtResidenceYears>5</TimeAtResidenceYears>
<TimeAtResidenceMonths>7</TimeAtResidenceMonths>
<Ownership>Own</Ownership>
<MonthlyPayment currency="USD">550.00</MonthlyPayment>
</Address>
</Addresses>
<Employments>
<Employment>
<isCurrentEmployment>true</isCurrentEmployment>
<Status>Employed</Status>
<EmployerName>TCI</EmployerName>
<ContactName/>
<ContactPhone>1111111111</ContactPhone>
<JobPosition>Business Analyst</JobPosition>
<Address>
<StreetName/>
<PostalCode/>
<City/>
<State/>
</Address>
<TimeAtEmployerYears>10</TimeAtEmployerYears>
<TimeAtEmployerMonths>6</TimeAtEmployerMonths>
<GrossMonthlyIncome currency="USD">0.00</GrossMonthlyIncome>
</Employment>
</Employments>
<DenialReasons>
<DenialReason>
<Reason>Applicant has no SS number</Reason>
</DenialReason>
</DenialReasons>
</Applicant>
<Applicant>
<Type>coBorrower</Type>
<FirstName>asd</FirstName>
<LastName>asd</LastName>
<MiddleName>asd</MiddleName>
<NameSuffix>IV</NameSuffix>
<DateOfBirth>07/17/1973</DateOfBirth>
<CreditScore/>
<SocialSecurityNumber>333333333</SocialSecurityNumber>
<IsUSCitizen>true</IsUSCitizen>
<PhoneNumber>1231231231</PhoneNumber>
<WorkPhoneNumber/>
<CellularPhoneNumber>1231231231</CellularPhoneNumber>
<EmailAddress><a href="https://stackoverflow.com/cdn-cgi/l/email-protection" class="__cf_email__" data-cfemail="187c7c7c7c586179707777367b7775" rel="noreferrer noopener nofollow">[email protected]</a></EmailAddress>
<DriversLicense/>
<DriversLicenseState/>
<DriversLicenseExpirationDate/>
<DriversLicenseIssueDate/>
<MaritalStatus>false</MaritalStatus>
<Addresses>
<Address>
<Type>Primary</Type>
<Address>
<Number/>
<StreetPrefix/>
<StreetName>asdasd</StreetName>
<StreetType/>
<StreetSuffix/>
<ApartmentOrSuiteNumber/>
<PostalCode>12345</PostalCode>
<City>Schenectady</City>
<State>NY</State>
</Address>
<TimeAtResidenceYears>17</TimeAtResidenceYears>
<TimeAtResidenceMonths>11</TimeAtResidenceMonths>
<Ownership>Living with relatives</Ownership>
<MonthlyPayment currency="USD">2222.00</MonthlyPayment>
</Address>
</Addresses>
<Employments>
<Employment>
<isCurrentEmployment>true</isCurrentEmployment>
<Status>Retired</Status>
<EmployerName/>
<ContactName/>
<ContactPhone/>
<JobPosition/>
<Address>
<StreetName/>
<PostalCode/>
<City/>
<State/>
</Address>
<TimeAtEmployerYears>0</TimeAtEmployerYears>
<TimeAtEmployerMonths>0</TimeAtEmployerMonths>
<GrossMonthlyIncome currency="USD">0.00</GrossMonthlyIncome>
</Employment>
</Employments>
<DenialReasons>
<DenialReason>
<Reason>Applicant has no SS number</Reason>
</DenialReason>
</DenialReasons>
</Applicant>
</Applicants>
我正在使用一个小型 SQL 表来测试是否能够正确提取主要数据和共同借款人数据。
CREATE TABLE [bronze].[loan_origination_application](
[application_number] [nvarchar](max) NULL,
[generated_date] [nvarchar](max) NULL,
[applicant_primary_first_name] [nvarchar](max) NULL,
[applicant_coborrower_first_name] [nvarchar](max) NULL
)
这是我的 Azure 数据工厂管道 JSON 的部分:
},
"sink": {
"type": "AzureSqlSink",
"writeBehavior": "insert",
"sqlWriterUseTableLock": false,
"disableMetricsCollection": false
},
"enableStaging": false,
"translator": {
"type": "TabularTranslator",
"mappings": [
{
"source": {
"path": "['Application']['GeneratedDate']"
},
"sink": {
"name": "generated_date",
"type": "String"
}
},
{
"source": {
"path": "['Application']['ApplicationNumber']"
},
"sink": {
"name": "application_number",
"type": "String"
}
},
{
"source": {
"path": "['Application']['Applicants']['Applicant']['FirstName']"
},
"sink": {
"name": "applicant_primary_first_name",
"type": "String"
}
},
{
"source": {
"path": "['Application']['Applicants']['Applicant'][1]['FirstName']"
},
"sink": {
"name": "applicant_coborrower_first_name",
"type": "String"
}
}
],
"collectionReference": "$['applications']['LoanExport']",
"mapComplexValuesToString": true
}
请注意，在我的所有数据库输出中，4 列分别是:'application_number'、'generate_date'、'applicant_primary_first_name'、'applicant_coborrower_first_name'
目前，这会导致数据库中出现以下写入:
132 06/15/2023 NULL asd
134 06/15/2023 Robert NULL
135 06/15/2023 Robert NULL
136 06/15/2023 Robert NULL
请注意，在这种情况下，如果有共同借款申请人(申请 132)，它将提取正确的姓名，但会忽略主申请人。当没有共同借款申请人时，将准确拉入主申请人。
我尝试了以下以及其他类似的方法:
数据工厂 JSON:
{
"source": {
"path": "['Application']['Applicants']['Applicant'][0]['FirstName']"
},
"sink": {
"name": "applicant_primary_first_name",
"type": "String"
}
},
{
"source": {
"path": "['Application']['Applicants']['Applicant'][1]['FirstName']"
},
"sink": {
"name": "applicant_coborrower_first_name",
"type": "String"
}
}
数据库输出:
132 06/15/2023 Robert asd
134 06/15/2023 NULL NULL
135 06/15/2023 NULL NULL
136 06/15/2023 NULL NULL
在这种情况下，您可以看到主要申请人和共同借款人申请人类型均已正确提取，但仅当有共同借款人时而不是只有主要申请人时。
我还尝试了一些涉及过滤的 Chat GPT 建议，尽管我觉得它走在正确的轨道上，但没有帮助。
{
"source": {
"path": "['Application']['Applicants']['Applicant'][?(@['Type']=='primary')]['FirstName']"
},
"sink": {
"name": "applicant_primary_first_name",
"type": "String"
}
},
{
"source": {
"path": "['Application']['Applicants']['Applicant'][?(@['Type']=='coBorrower')]['FirstName']"
},
"sink": {
"name": "applicant_coborrower_first_name",
"type": "String"
}
}
数据库输出与上面效果相同。仅当共同借款人类型的申请人也在场时，才会拉动主要类型的申请人。
132 06/15/2023 Robert asd
134 06/15/2023 NULL NULL
135 06/15/2023 NULL NULL
136 06/15/2023 NULL NULL
为了清楚起见，我将提供仅包含主要类型申请人的申请的 XML。
<LoanExport>
<Application>
<GeneratedDate>06/15/2023</GeneratedDate>
<BusinessApplication/>
<ApplicationNumber>134</ApplicationNumber>
<ApplicationType>Individual</ApplicationType>
<Business>false</Business>
<Applicants>
<Applicant>
<Type>primary</Type>
<FirstName>Robert</FirstName>
<LastName>Ice</LastName>
<MiddleName/>
<NameSuffix/>
<DateOfBirth>02/22/1992</DateOfBirth>
<CreditScore>0</CreditScore>
<SocialSecurityNumber>666423221</SocialSecurityNumber>
<IsUSCitizen>true</IsUSCitizen>
<PhoneNumber>5555555555</PhoneNumber>
<WorkPhoneNumber/>
<CellularPhoneNumber>3334445555</CellularPhoneNumber>
<EmailAddress><a href="https://stackoverflow.com/cdn-cgi/l/email-protection" class="__cf_email__" data-cfemail="a0c4c5cdcf94d1d5d192d6d3e0d4c3c9c3d2c5c4c9d48ec3cfcd" rel="noreferrer noopener nofollow">[email protected]</a></EmailAddress>
<DriversLicense/>
<DriversLicenseState/>
<DriversLicenseExpirationDate/>
<DriversLicenseIssueDate/>
<MaritalStatus>false</MaritalStatus>
<Addresses>
<Address>
<Type>Primary</Type>
<Address>
<Number>1</Number>
<StreetPrefix/>
<StreetName>Hawk Drive</StreetName>
<StreetType/>
<StreetSuffix/>
<ApartmentOrSuiteNumber/>
<PostalCode>60750</PostalCode>
<City>FANTASY ISLAND</City>
<State>MD</State>
</Address>
<TimeAtResidenceYears>5</TimeAtResidenceYears>
<TimeAtResidenceMonths>7</TimeAtResidenceMonths>
<Ownership>Own</Ownership>
<MonthlyPayment currency="USD">550.00</MonthlyPayment>
</Address>
</Addresses>
<Employments>
<Employment>
<isCurrentEmployment>true</isCurrentEmployment>
<Status>Employed</Status>
<EmployerName>TCI</EmployerName>
<ContactName/>
<ContactPhone>1111111111</ContactPhone>
<JobPosition>Business Analyst</JobPosition>
<Address>
<StreetName/>
<PostalCode/>
<City/>
<State/>
</Address>
<TimeAtEmployerYears>10</TimeAtEmployerYears>
<TimeAtEmployerMonths>6</TimeAtEmployerMonths>
<GrossMonthlyIncome currency="USD">0.00</GrossMonthlyIncome>
</Employment>
</Employments>
<Stipulations>
<Stipulation>
<Description>VOI Applicant</Description>
<Status>Active</Status>
</Stipulation>
</Stipulations>
</Applicant>
</Applicants>
最佳答案
Azure SQL DB 可以使用 OPENROWSET 直接从 Blob 存储中读取。请参阅该技术的开始 here .
对于您的特定 XML 片段，使用 CROSS APPLY 对其进行操作以更深入地研究它:
DECLARE @xml XML = '<LoanExport>
<Application>
<GeneratedDate>06/15/2023</GeneratedDate>
<BusinessApplication/>
<ApplicationNumber>132</ApplicationNumber>
<ApplicationType>Joint</ApplicationType>
<Business>false</Business>
<Applicants>
<Applicant>
<Type>primary</Type>
<FirstName>Robert</FirstName>
<LastName>Ice</LastName>
<MiddleName/>
<NameSuffix/>
<DateOfBirth>02/22/1992</DateOfBirth>
<CreditScore/>
<SocialSecurityNumber>666423221</SocialSecurityNumber>
<IsUSCitizen>true</IsUSCitizen>
<PhoneNumber>5555555555</PhoneNumber>
<WorkPhoneNumber/>
<CellularPhoneNumber>3334445555</CellularPhoneNumber>
<EmailAddress>dem<a href="https://stackoverflow.com/cdn-cgi/l/email-protection" class="__cf_email__" data-cfemail="385755550109425e4c784c5b515b4a5d5c514c165b5755" rel="noreferrer noopener nofollow">[email protected]</a></EmailAddress>
<DriversLicense/>
<DriversLicenseState/>
<DriversLicenseExpirationDate/>
<DriversLicenseIssueDate/>
<MaritalStatus>false</MaritalStatus>
<Addresses>
<Address>
<Type>Primary</Type>
<Address>
<Number>1</Number>
<StreetPrefix/>
<StreetName>Hawk Drive</StreetName>
<StreetType/>
<StreetSuffix/>
<ApartmentOrSuiteNumber/>
<PostalCode>60750</PostalCode>
<City>FANTASY ISLAND</City>
<State>MD</State>
</Address>
<TimeAtResidenceYears>5</TimeAtResidenceYears>
<TimeAtResidenceMonths>7</TimeAtResidenceMonths>
<Ownership>Own</Ownership>
<MonthlyPayment currency="USD">550.00</MonthlyPayment>
</Address>
</Addresses>
<Employments>
<Employment>
<isCurrentEmployment>true</isCurrentEmployment>
<Status>Employed</Status>
<EmployerName>TCI</EmployerName>
<ContactName/>
<ContactPhone>1111111111</ContactPhone>
<JobPosition>Business Analyst</JobPosition>
<Address>
<StreetName/>
<PostalCode/>
<City/>
<State/>
</Address>
<TimeAtEmployerYears>10</TimeAtEmployerYears>
<TimeAtEmployerMonths>6</TimeAtEmployerMonths>
<GrossMonthlyIncome currency="USD">0.00</GrossMonthlyIncome>
</Employment>
</Employments>
<DenialReasons>
<DenialReason>
<Reason>Applicant has no SS number</Reason>
</DenialReason>
</DenialReasons>
</Applicant>
<Applicant>
<Type>coBorrower</Type>
<FirstName>asd</FirstName>
<LastName>asd</LastName>
<MiddleName>asd</MiddleName>
<NameSuffix>IV</NameSuffix>
<DateOfBirth>07/17/1973</DateOfBirth>
<CreditScore/>
<SocialSecurityNumber>333333333</SocialSecurityNumber>
<IsUSCitizen>true</IsUSCitizen>
<PhoneNumber>1231231231</PhoneNumber>
<WorkPhoneNumber/>
<CellularPhoneNumber>1231231231</CellularPhoneNumber>
<EmailAddress><a href="https://stackoverflow.com/cdn-cgi/l/email-protection" class="__cf_email__" data-cfemail="197d7d7d7d596078717676377a7674" rel="noreferrer noopener nofollow">[email protected]</a></EmailAddress>
<DriversLicense/>
<DriversLicenseState/>
<DriversLicenseExpirationDate/>
<DriversLicenseIssueDate/>
<MaritalStatus>false</MaritalStatus>
<Addresses>
<Address>
<Type>Primary</Type>
<Address>
<Number/>
<StreetPrefix/>
<StreetName>asdasd</StreetName>
<StreetType/>
<StreetSuffix/>
<ApartmentOrSuiteNumber/>
<PostalCode>12345</PostalCode>
<City>Schenectady</City>
<State>NY</State>
</Address>
<TimeAtResidenceYears>17</TimeAtResidenceYears>
<TimeAtResidenceMonths>11</TimeAtResidenceMonths>
<Ownership>Living with relatives</Ownership>
<MonthlyPayment currency="USD">2222.00</MonthlyPayment>
</Address>
</Addresses>
<Employments>
<Employment>
<isCurrentEmployment>true</isCurrentEmployment>
<Status>Retired</Status>
<EmployerName/>
<ContactName/>
<ContactPhone/>
<JobPosition/>
<Address>
<StreetName/>
<PostalCode/>
<City/>
<State/>
</Address>
<TimeAtEmployerYears>0</TimeAtEmployerYears>
<TimeAtEmployerMonths>0</TimeAtEmployerMonths>
<GrossMonthlyIncome currency="USD">0.00</GrossMonthlyIncome>
</Employment>
</Employments>
<DenialReasons>
<DenialReason>
<Reason>Applicant has no SS number</Reason>
</DenialReason>
</DenialReasons>
</Applicant>
</Applicants>
</Application>
</LoanExport>'
--SELECT @xml;
SELECT
l.c.value('(ApplicationNumber/text())[1]', 'INT') AS ApplicationNumber,
l.c.value('(GeneratedDate/text())[1]', 'DATE') AS GeneratedDate,
a.c.value('(FirstName/text())[1]', 'VARCHAR(10)') AS FirstName,
a.c.value('(LastName/text())[1]', 'VARCHAR(10)') AS LastName,
l.c.query('.') l,
l.c.query('.') a
FROM @xml.nodes('LoanExport/Application') l(c)
CROSS APPLY l.c.nodes('Applicants/Applicant') a(c);
关于通过 Azure 数据工厂 V2 将 XML 数据传输到 Azure SQL Server，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/76534372/
24
4
0
本周我将在 Windows Server 2008 上设置一个专用的 SQL Server 2005 机器，并希望将其精简为尽可能简单，同时仍能发挥全部功能。 为此，“服务器核心”选项听起来很有吸引力
已关闭。此问题不符合Stack Overflow guidelines 。目前不接受答案。 这个问题似乎与 help center 中定义的范围内的编程无关。 . 已关闭 8 年前。 Improve
我获取了 2014 版本数据库的备份，并尝试在另一台服务器中将其恢复到具有相同名称和登录名的数据库中。此 SQL Server 版本是 2016。 恢复备份文件时，出现此错误: TITLE: Micr
我获取了 2014 版本数据库的备份，并尝试在另一台服务器中将其恢复到具有相同名称和登录名的数据库中。此 SQL Server 版本是 2016。 恢复备份文件时，出现此错误: TITLE: Micr
TFS 是否提供任何增强的方法来存储对 sql server 数据库所做的更改，而不是使用它来对在数据库上执行的 sql 语句的文本文件进行版本控制？ 或者我正在寻找的功能是否仅在第 3 方工具(如
关闭。这个问题需要多问focused 。目前不接受答案。 想要改进此问题吗？更新问题，使其仅关注一个问题 editing this post . 已关闭 9 年前。 Improve this ques
我即将将我的 SQL Server 2012 实例升级到 SQL Server 2014。 我已经克隆了主机 Windows VM 并将其重命名为 foo-2012至 foo-2014 . 重新启动时
我想为 SQL Server 登录授予对数据库的访问权限。我知道 sp_grantdbaccess，但它已被弃用。我可以改用什么以及如何检查登录名是否还没有访问数据库的权限？ 场景:UserA 创建数
客户别无选择，只能在接下来的几天内从 sql server 2000 迁移到 2008。测试显示 2005 年的重要功能出现了 Not Acceptable 性能下降，但 2008 年却没有。好消息是
我有一个测试数据库，我需要将其导出到我们客户的测试环境中。 这将是一次性的工作。 我正在使用 SQL Server 2005(我的测试数据库是 SQL Server 2005 Express) 执行此
我需要将一个 CSV 文件导入到 mongoDB 不幸的是我遇到了以下错误: error connecting to host: could not connect to server: se
我以为 R2 是一个补丁/服务包。我一直在寻找下载，但没有看到。因此，我假设 R2 是一个新版本，并且我需要 sqlserver 2008 r2 的安装介质来进行升级？ 另外，我需要为新许可证付费吗？
我无法使用 SQL Server Management Studio 连接到 SQL Server。 我有一个连接字符串: 我尝试通过在服务器名中输入 myIP、在登录名中输入 MyID、在密码中
我们希望使用 SQL Server 加密来加密数据库中的几个列。我们还需要在生产和测试环境之间传输数据。看来最好的解决方案是在生产和测试服务器上使用相同的主 key 、证书和对称 key ，以便我可以
有没有可以分析 SQL Server 数据库潜在问题的工具？ 例如: a foreign key column that is not indexed 没有 FILL FACTOR 的 uniquei
我正在尝试从我的 SQL 2012 BI 版本建立复制，但我收到一条奇怪的错误消息! "You cannot create a publication from server 'X' because
如果您使用 SQL Server 身份验证 (2005)，登录详细信息是否以明文形式通过网络发送？ 最佳答案 如您所愿，安全无忧... 您可以相当轻松地配置 SSL，如果您没有受信任的证书，如果您强制
我想将数据从一个表复制到不同服务器之间的另一个表。 如果是在同一服务器和不同的数据库中，我使用了以下 SELECT * INTO DB1..TBL1 FROM DB2..TBL1 (to copy w
我希望得到一些帮助，因为我在这个问题上已经被困了 2 天了! 场景:我可以从我的开发计算机(和其他同事)连接到 SERVER\INSTANCE，但无法从另一个 SQL Server 连接。我得到的错误
我正在尝试从我的 SQL 2012 BI 版本建立复制，但我收到一条奇怪的错误消息! "You cannot create a publication from server 'X' because
我是一名优秀的程序员,十分优秀！