azure - U-SQL - 执行相关查询

Question

我编写了多个 U-SQL 脚本，其输出存储在 ADLA 中，基于此我没有什么疑问。

• 我们如何在 U-SQL 中运行相关作业？
• 如何根据某些条件执行语句，例如

If RecordCount > 0 then
     insert into table1
endif

• 我们如何安排 U-SQL 作业？
• 我们可以编写多个脚本并从主脚本中调用它们吗？
• 在脚本执行期间，编译器准备并编译代码。几乎花了30-40秒。我们如何捆绑编译后的代码并创建 ADF 管道？

Answer 1

您可以使用 Azure 数据工厂来计划和编排 U-SQL 作业，也可以使用其中一种 SDK(Powershell、C#、Java、node.js、Python)编写自己的计划程序。

U-SQL 支持两种条件执行方式:

1. 如果可以在编译时评估您的条件，例如，当您传递参数值或 check for the existence of a file 时，您可以使用IF statement 。
2. 如果您的条件只能在脚本执行期间确定，那么您可以使用 WHERE 子句，就像 wBob 在其注释中概述的那样。

正如 wBob 提到的，您可以将大部分 U-SQL 语句封装在过程中，然后从其他脚本/过程中调用它们，或者如果您需要重用脚本文件，也可以编写自己的包含/编排方式。

目前无法重用和提交已编译的代码，因为编译取决于确切的信息，例如存在哪些文件以及所访问数据的统计信息。