azure - 如何跳过 U-SQL 作业中的前 n 行？

Question

我想要运行 U-SQL 作业以从 Azure Data Lake 存储上的 SQL 表中的 .txt 文件加载数据。我已经在 Azure 数据湖分析中创建了数据库、架构和表。

txt 文件中的数据受制表符限制，我需要跳过第一行 2。我认为我应该使用 Extractors.Text() 内置提取器，但是如何在其中添加 skipFirstNRows 参数来提取数据？

Answer 1

您只需将其传递给提取器，如下所示:

@searchlog =
 EXTRACT UserId          int,
         Start           DateTime,
         Region          string,
         Query           string,
         Duration        int?,
         Urls            string,
         ClickedUrls     string
 FROM "/Samples/Data/SearchLog.tsv"
 USING Extractors.Tsv(skipFirstNRows: 2);

我的示例基于 TSV 提取器，因为该提取器默认使用制表符作为分隔符。

( source )