- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
我正在开发一个涉及 Azure IOT 中心和 Azure Functions 的 Azure 项目。
我有大约 50 个传感器,每 10 秒向 IOT 中心发送一条新消息。
每次 Azure IOT 中心收到新消息时,我都想执行一个函数来读取发送的消息并将其保存到 Azure 表存储中。
目前,我有点不知道应该使用哪种 Azure 表存储设计。到目前为止,这是我建议的表存储设计:
[PartitionKey][RowKey][TimeStamp][SensorSerial][Reading][Type]
这是数据在 Azure 存储资源管理器中的样子的模型:
[GroupA][?][2017-05-03T12:20:22.713Z][xxx][60][Temperature]
[GroupA][?][2017-05-03T12:25:22.713Z][xxx][61][Temperature]
[GroupA][?][2017-05-03T12:30:22.713Z][xxx][59][Temperature]
[GroupB][?][2017-05-03T12:35:22.713Z][yyy][90][Humidity]
[GroupB][?][2017-05-03T12:40:22.713Z][yyy][92][Humidity]
我已将 RowKey 保留为“?”暂时因为它与手头的问题有关。
问题是,我希望能够根据 SensorSerial 和指定的时间范围查询表存储数据 - 例如获取过去 15 秒的所有 xxx 读数。
以下查询始终不返回任何数据:
TableQuery<Readings> rangeQuery = new TableQuery<Readings>().Where(
TableQuery.CombineFilters(
TableQuery.GenerateFilterCondition("SensorSerial", QueryComparisons.Equal, "xxx"),
TableOperators.And,
TableQuery.GenerateFilterConditionForDate("TimeStamp",
QueryComparisons.GreaterThanOrEqual, DateTime.Now.AddSeconds(-15))));
从我到目前为止所读到的内容来看,我不确定为什么会这样 - 无法根据时间戳字段过滤数据。因此,您必须使用 RowKey 作为某种伪 TimeStamp 日期时间刻度字段。
所以为了解决这个问题,我计划使用它作为我的 RowKey 值
var RowKey = string.Format("{0:D19}", DateTime.MaxValue.Ticks - DateTime.UtcNow.Ticks);
它将满足此查询并返回必要的值:
TableQuery<Readings> query = new TableQuery<SensorEntity>().Where(
TableQuery.CombineFilters(
(TableQuery.GenerateFilterCondition("SensorSerial", QueryComparisons.Equal, "xxxx")),
TableOperators.And,
(TableQuery.GenerateFilterCondition("RowKey", QueryComparisons.LessThanOrEqual,
"2519084875883616261"))));
但是,我在这里可能是错的,这种方法可能会导致一些问题,因为以下原因>:
如果两个或多个传感器同时/间隔传输数据怎么办?在一个传感器插入新行时,RowKey 必须是唯一的进入Azure存储,其他将无法逗留。
我可以运行代码,希望传输/数据处理/插入会导致足够的延迟,永远不会引起任何问题,但依赖它会很糟糕。
还有更好的办法吗?一种更安全的方法,允许我根据指定时间和唯一设备标识符查询 Azure 数据表存储?
最佳答案
让我们首先谈谈您当前的方法。
目前您所采取的方法还不错。该方法的优点是您使用反向刻度 (DateTime.MaxValue.Ticks - DateTime.UtcNow.Ticks)
这将确保将最新数据添加到表格顶部位于表格底部,因此只要您查询最近 x 分钟/小时的数据,检索就会非常快。
我发现这种方法存在一些问题:
分区扫描
的情况。这比全表扫描
要好一些,但如果可能的话应该避免。scalability limits
由表服务强加,因为所有读/写都只发生在一张表上。这将对性能产生不利影响。可能的解决方案
一种可能的解决方案(目前考虑您的查询针对传感器)是为每个传感器创建一个单独的表,然后将该传感器的数据存储在指定的表中。我认为这种方法的优点是:
PartitionKey
作为反向刻度,并将 RowKey
用作您喜欢的任何其他值。我建议为 PartitionKey
存储更高粒度的刻度(例如一个小时),并保持 RowKey
不变。这将确保您最终不会创建大量分区。SensorA
表可能位于存储帐户 A
中,Sensor B
表可能位于存储帐户 B
中。这样,您实质上就可以对不同表/存储帐户之间的流量进行负载平衡,并实现更好的可扩展性和吞吐量。显然,这种方法的缺点是它会给您带来更多的管理麻烦。您需要拥有某种主数据库,在其中保存传感器及其关联存储帐户之间的关联。这种方法的另一个缺点是您将无法仅查询时间戳(我的第二个问题)。为此,您可以使用您所采取的方法在另一个存储帐户中仅保留一张表。
关于您的评论如果两个或更多传感器同时/间隔传输数据怎么办? RowKey 必须是唯一的,当一个传感器将新行插入 Azure 存储时,另一个传感器将无法再插入新行。
,本质上 RowKey 在分区
或其他分区中必须是唯一的单词PartitionKey + RowKey
组合在表中必须是唯一的。所以我认为这不会成为问题。
关于c# - Azure 数据表 - RowKey 作为 DateTime.Ticks 的正确用法?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43762117/
我有一个带有嵌套数据的 angular 数据表,我正在尝试在行点击函数上创建另一个数据表。父数据表的 rowCallBack 函数。 这是我的外部数据表 html; 这是我生成数据表的方
我有一个字母数字列,其中包含诸如“1、2、2”之类的字符串。 当我在搜索中输入“1, 2, 2”时,它似乎返回带有“1,”和“2,”的所有单元格。 我该怎么做才能使搜索仅返回“1、2、2”? 使用数据
我有一个获取其数据服务器端的表,使用自定义服务器端初始化参数,这些参数因生成的报告而异。表格生成后,用户可以打开一个弹出窗口,他们可以在其中添加多个附加过滤器以进行搜索。我需要能够使用与原始表相同的初
在 datatables我希望能够隐藏所有列,但似乎无法正确使用语法。 这来自下面的代码和上面的链接,创建了一个显示所有列的按钮。有没有办法写这个以便我可以隐藏所有列? {
我正在使用 DataTable 创建一个交互式表。我有 9 列,其中 5 列是值。我想根据它们的具体情况更改每个单元格的背景颜色。 我已经开始尝试首先更改整行颜色,因为这似乎是一项更容易的任务。但是我
我有一个简单的例子来说明我的问题。我正在使用数据表 1.9。当数据表位于另一个 html 表内时,水平滚动时列标题不会移动。当它不在 html 表中时它工作正常。我的示例实际上取自他们的水平滚动示例,
已结束。此问题正在寻求书籍、工具、软件库等的推荐。它不满足Stack Overflow guidelines 。目前不接受答案。 我们不允许提出寻求书籍、工具、软件库等推荐的问题。您可以编辑问题,以便
这是添加按钮以将数据导出到 csv、pdf、excel 的数据表示例...... fiddle here https://datatables.net/extensions/buttons/examp
是否有任何方法可以更改 angularjs 数据表中的按钮样式(colvis、copy、print、excel)。 vm.dtOptions = DTOptionsBuilder.newOptions
我试图弄清楚如何加入 2 个数据表并更新第一个但应用了过滤器。 DT DT2 b c 1: 1 10 2: 2 10 3: 3 10 4: 4 10 5: 5 10 6: 6 10 7: 7 10
我有一个数据表,其中包含许多包含值的列。我还有另一列,它定义了我需要选择哪些列的值。我很难找到一种方法来做到这一点。 这是一个简单的例子。 > d d value.1 value.2 name
我正在使用 data.table 包。我有一个数据表,表示用户在网站上的操作。假设每个用户都可以访问一个网站,并对其执行多项操作。我的原始数据表是 Action (每一行都是一个 Action ),我
我想知道每个变量在每个组中变化了多少次,然后将结果添加到所有组中。 我是这样找到的: mi[,lapply(.SD, function(x) sum(x != shift(x), na.rm=T)
有人可以向我解释一下如何向页眉或页脚添加按钮吗?Datatables 的开发者 Alan 说你必须离开网络服务器才能使用 Table Tools 来使用按钮。但我在独立计算机上离线运行 Datatab
我希望按 id 和按顺序(时间)计算不同的东西。 例如,与: dt = data.table( id=c(1,1,1,2,2,2,3,3,3), hour=c(1,5,5,6,7,8,23,23,23
我正在尝试在 JIRA 小工具中使用数据表,但在我的表准备就绪后,没有可用的分页按钮。我有一个表,我正在以最简单的方式使用数据表:$("#mytableid").dataTable(); 浏览页面元素
我有 responsive 表单中的数据表。 数据表生成 child rows在小型设备上。在这一行中,我有一些输入控件。这会导致两个问题。 第一个问题:**隐藏子行中的值不会进入表单数据。** 第二
我在使用 JQuery DataTable 捕获 keydown 事件时遇到问题。我的目标是允许用户使用箭头键导航表的行。因此,当用户按下箭头键时,我想捕获 keydown 事件并移动表的选定行(这是
是否有任何方法可以以编程方式更改显示的行数,而无需从下拉列表中手动选择? 我已经知道如何更改默认行数。当表首次加载时,我希望它加载所有行,然后“刷新”表以可能仅显示前 10 行。但我想以编程方式刷新表
我有一个数据表,我应该对其进行更改,例如我想更改内容的状态,但该内容位于表的第三页。当我更改它时,数据表会自行刷新到第一页。我想做的是保留选定的页码并在刷新后回调它。这可能吗? 顺便说一句,我正在使用
我是一名优秀的程序员,十分优秀!