azure - 流分析查询达到大小限制

Question

我是 Azure 流分析新手。我有一个事件中心作为输入源，现在我尝试对此流执行一个简单的查询。示例查询如下:

SELECT
count(*)
INTO [output1]
FROM
[input1] TIMESTAMP BY Time
GROUP BY TumblingWindow(second, 10)

所以我想计算在特定时间范围内到达的事件。

执行此查询时，我总是收到以下错误:

Request exceeded maximum allowed size limit

由于我已经缩小了检查的时间范围，并且我确信这个时间范围内的事件数量不会很大(最多几百个)我不确定如何避免此错误。

你有什么提示吗？

谢谢!

Answer 1

Request exceeded maximum allowed size limit

这个错误(我相信应该更明确)表明您违反了 azure stream analytic resource and object limits .

这不仅与数量有关，还与大小有关。请检查源输入的大小或尝试减小窗口大小并再次测试。

<小时/>

1.Does the record size of the source query mean that one event can only have 64 KB or does this parameter mean 64 K events?

这意味着一个事件的大小应低于 64KB。

2. Is there a possibility to use Stream Analytics to select only certain subfields of the event or is the only way to reduce the event size before it is sent to the event hub?

据我所知，ASA仅收集数据以进行处理，因此大小完全取决于源端和您的查询sql。由于您需要使用COUNT，恐怕您必须在eventhub端做一些事情。请引用我的想法:

使用Event Hub Azure Function Trigger ，当事件流入事件中心时，触发该函数并仅选择部分键值并将其保存到另一个事件中心命名空间中。(只是为了减少源事件的大小)无论如何，您只需要 COUNT 记录，我认为它适合你。