gpt4 book ai didi

azure-data-lake - 有什么方法可以最大限度地减少 U-SQL 准备时间?

转载 作者:行者123 更新时间:2023-12-02 01:17:25 25 4
gpt4 key购买 nike

我的 U-SQL 作业的准备时间约为 30 秒。有可能降低吗?

我的代码如下:

USE DATABASE x;
USE SCHEMA y;

@results = SELECT RowKey
FROM y.tableName
WHERE USQLApplication2.queryHelper.func().Contains(PartitionKey) AND TimestampTicks < new System.DateTime(2016,12,30).Ticks
AND TimestampTicks > new System.DateTime(2016,12,29).Ticks;
OUTPUT @results TO "/data/output.csv"
USING Outputters.Csv();

最佳答案

准备时间主要包括脚本的编译、优化和代码生成。由于 U-SQL 当前以批处理模式运行,因此系统针对在准备期间花费的时间进行了优化,以缩短大量数据的运行时间。

在您的情况下,根据提供的脚本,我认为对用户定义函数的调用可能会增加准备时间。让我与团队确认内联函数调用是否可以在该阶段节省一些时间。

编辑:
根据您在另一个线程中的问题,您似乎有一个高度分区的表。如果这是正确的,那么访问分区和联合它们的编译也会增加准备时间。我们有一个待办事项来改进这方面。

关于azure-data-lake - 有什么方法可以最大限度地减少 U-SQL 准备时间?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42076955/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com