azure-data-lake - 如何避免向 U-SQL 表添加重复项

Question

除了添加/截断分区之外，是否有办法避免在 U-SQL 表中添加重复记录。我们假设这两条记录只有唯一标识符不同。

Answer 1

您还可以在 U-SQL 查询中使用 ROWNUMBER()

@transactions =
   SELECT *,
   ROW_NUMBER() OVER(PARTITION BY Id ORDER BY Id DESC) AS RowNumber
   FROM @searchlog;

@result =
   SELECT Id,Name,Description,Age
   FROM @transactions
   WHERE RowNumber == 1;

这将获取文件中的唯一记录。