azure - 使用 Azure 数据工厂运行 U-SQL 事件时出现内存不足异常

Question

我正在将 U-SQL 事件作为 Azure 数据工厂中管道的一部分在定义的时间片内运行。 U-SQL 事件运行一系列 U-SQL 脚本，用于读入和处理存储在 Azure Data Lake 中的数据。虽然数据在我的本地运行中成功处理，但在 Azure 数据工厂云环境中运行时抛出系统内存不足异常。

输入数据约为 200MB，处理起来应该不会有问题，因为之前已经处理过更大的数据集。

假设内存管理可以根据需要进行扩展，令人惊讶的是在 Azure 云环境中看到内存不足异常，以下是同一输入数据上两次运行的异常快照，唯一的区别是它们的时间发生。

Exception Snapshot - 1

Exception Snapshot - 2

非常感谢您的帮助，谢谢。

进一步更新:经过进一步调查，发现使用变量 skipNRow:1 跳过标题行重新解决了该问题，我们的 u-sql 代码片段后面有一个循环，该循环以日期比较为条件，如果代码片段正在处理 DateTime 类型行列作为输入，则循环可能不会终止，因为标题行列的日期时间转换无效。理想情况下，这应该会给出无效的日期时间格式异常，但我们会看到内存不足异常。

Answer 1

看起来用户代码中的某些内容导致了异常，您可以尝试在 VS 中运行失败的顶点调试功能。您可以在 VS 中打开失败的作业，它应该在作业概述中显示一个错误栏，让您可以启动该过程。它将把失败的部分下载到桌面并让您逐步完成。