Azure 表存储 - 数据湖文件 - 通过 USQL 获取单行 Select 语句时响应时间缓慢

Question

来自事务数据库表的数据被拉入Data Lake，大约50万条记录，大约20列，在Data Lake中它是JSON格式的。

通过逻辑应用程序，通过Python -> U-SQL函数，触发U-SQL语句来读取特定行，响应很慢，寻求提高性能。

Answer 1

与本地执行相比，速度缓慢有几个原因1.集群环境和本地不一样。在集群上，您只有 2 个核心和 6GB 内存。此外，我们还限制每个运算符(operator)使用不超过 512MB 的 RAM。这些问题都不会发生在世界本地。2. 当从 usql 运算符转换为 python 扩展时，会产生编码(marshal)开销，然后创建数据帧，一旦完成 python 执行，反之亦然3.我们还需要在容器上创建一个将执行Python代码的环境，其中包括复制Python运行时

我们将在 2018 年 1 月即将发布的版本中解决 2 和 3 的限制。