azure-data-lake - 如何忽略 U-SQL EXTRACT 中不符合架构的无效行？

Question

我正在尝试使用以下 U-SQL EXTRACT 语句从 CSV 文件中提取一些数据:

EXTRACT SessionId   string,
        Latitude    double,
        Longitude   double,
        Timestamp   int
FROM "wasb://sessions@myaccount.blob.core.windows.net/"
USING Extractors.Csv();

但是我的工作中途失败了，因为有一行不适合这个模式(在庞大的数据集中很常见)，因为它有错误的列数。如何避免整个提取失败？

Answer 1

请注意，silent 标志将执行以下操作:

忽略列数不匹配的行

用空值替换无效值 如果 列类型可以为空。

它将 仍然错误 如果:

该值不能强制转换为预期的不可为空类型。

指定的编码存在无效字符。