- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在开发一个项目,我必须报告每个来源每小时的独立访问者数量。也就是说,我必须计算每个来源每小时的唯一访问者。访客通过唯一的 ID 进行识别。考虑到数据约为每 8 小时 20k 个条目,应该如何设计才能有效地计算每小时的独立访问者。
目前我使用的是sourceid+guestid 作为行键。
最佳答案
首先我们要说的是,每小时 2500k 条目的数据量相当低(甚至不到 1/秒)。除非您想大规模扩展,否则您的项目可以使用单个 SQL 服务器轻松实现。
无论如何,你有两个选择:
记录每个访问者ID+源并运行作业(如mapreduce)以每小时或每天分析数据,具体取决于您的需要。在这种情况下,您甚至可以完全避免使用 hbase,而只使用 hadoop。您可以每小时将数据记录到不同的文件中,然后对其进行处理并将结果存储在 SQL 中(如果您愿意,也可以存储在 HBase 中)。就性能而言,这将是最好的方法。
通过使用 HBase 计数器实时跟踪数据,在这种情况下我会考虑使用 2 个表:
表unique_users:跟踪访问者 ID 上次访问网站的时间(行键将为访问者 ID + 源或只是访问者 ID,具体取决于访问者 ID 是否可以有不同的来源或只是一)。如果您想尽快自动丢弃旧数据,则该表的 TTL 可以为 3600 秒,但我会保留几天的数据。
表date_source_stats:跟踪每个来源每小时的唯一访客 ID。该表的 TTL 可以为几周甚至几年,具体取决于您的保留要求。
当访问者进入您的网站时,您会读取 unique_users 表来检查上次访问日期,如果该日期早于 1 小时,则将其视为新访问,并增加日期+小时的计数器date_source_stats 表中的 +sourceid 组合。然后,更新unique_users,将上次访问时间设置为当前时间。
这样,您就可以通过扫描轻松检索特定日期+小时的所有唯一访问并获取所有来源。如果您想要对特定源执行查询,您还可以考虑使用 source_date_stats 表,即 X 源过去 7 天的每小时报告...(您甚至可以将所有统计信息存储在使用不同的 rowkey 的同一个表)。
Please notice a few things about this approach:
- I've not being too detailed about the schemas, let me know if you need me to.
- I would also store total visits in another counter (which would be incremented always regardless of if it's unique or not), it's an useful value.
- This proposal can be easily extended as much as you want to also track daily, weekly, and even monthly unique visitors, you'll just need more counters and rowkeys: date+sourceid, month+sourceid... In this case you can have multiple column families with distinct TTL properties to adjust the retention policy of each set.
- This proposal could face hotspotting issues due rowkeys being sequential if you have thousands of reqs per second, you can read more about it here.
- An alternative approach for date_source_stats could be to opt for a wide design in which you have just a sourceid as rowkey and the date_hour as columns.
关于java - HBase 表设计用于维护每个来源的每小时访客数量,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29318427/
我有 0 小时、3 小时、12 小时、24 小时、48 小时的数据组……我想绘制这些数据的图表,以便保留时间的比例。 runs <- c(1:25) hours <- as.factor(c(0, 3
例如,如果我选择了时间:下午 3 点和小时数:5 小时,则得到 (8pm) 作为答案“ 最佳答案 let calendar = Calendar.current let date = calendar
我有一个包含两个日期时间字段的表单。用户输入日期 (yyyy-mm-dd) 和时间(3 个框;小时、分钟、上午/下午)。 出于某种原因,第一个没有保存为 24 小时制。 以下数据为输入结果: 2011
我一直在尝试使用导出单位进行计算,但到目前为止我还没有取得任何成果。 我已经尝试过mathjs ,但如果我输入 1 小时 * 1 英里/小时,我会得到 UnsupportedTypeError: Fu
我有两组要运行的 cronjob。第一个应该每 3 小时运行一次,第二个也应该每 3 小时运行一次,但比第一组晚一个小时。什么是正确的语法? // every 3 hours 17 */3 * *
我知道 AWS 中的预留实例更多的是计费而不是实际实例——它们没有附加到实际实例——我想知道: 如果我在特定区域和可用区中购买特定时间的预留实例 - 如果我每天 24 小时使用单个实例与运行 24 个
我试过: seq( from=as.POSIXct("2012-1-1 0", tz="UTC"), to=as.POSIXct("2012-1-3 23", tz="UTC"),
我有一个带有“日期”列的表。我想按小时分组指定日期。 最佳答案 Select TO_CHAR(date,'HH24') from table where date = TO_DATE('2011022
我知道如何在 SQL (SQL Server) 中获取当前日期,但要获取当天的开始时间: select dateadd(DAY, datediff(day, 0, getdate()),0) (res
我正在尝试在游戏之间创建一个计时器,以便用户在失去生命后必须等待 5 分钟才能再次玩游戏。但是我不确定最好的方法是什么。 我还需要它来防止用户在“设置”中编辑他们的时间。 实现这一目标的最佳方法是什么
我的查询有误。该错误显示预期的已知函数,得到“HOUR”。如果我删除这部分,查询将正常工作 (AND HOUR({$nowDate}) = 11) SELECT c FROM ProConvocati
var d1 = new Date(); var d2 = new Date(); d2.setHours(d1.getHours() +01); alert(d2); 这部分没问题。现在我试图在 (
我正在构建一个用于练习的基本时钟应用程序,但出于某种原因,时间不会自动更改为最新的分钟或小时。例如,当前时间是 17:56,但它显示的是 17:54,这是我打开应用程序的最后时间。 NSDate *n
我创建了一张图片,我想将其用作页面的 hr。当它被上传时,它一直向左对齐。我希望它居中,在标题下。这是我的 CSS 代码: .section-underline { height: 35px
这个问题已经有答案了: Getting difference in seconds from two dates in JavaScript (2 个回答) 已关闭 4 年前。 我想计算两个具有不同格
我需要计算到某个日期/时间的剩余时间(天/小时)。 但是,我没有使用静态日期。 假设我在 每个星期日 的 17:00 有一个事件。我需要显示到下一个事件的剩余时间,即即将到来的星期日 17:00。 我
我正在执行这个脚本: SELECT EXTRACT(HOUR FROM TIMEDIFF('2009-12-12 13:13:13', NOW())); 我得到:-838。这是提取时 MySQL 可以
复制代码 代码如下: /** * 小时:分钟的正则表达式检查<br> * <br> * @param pInput 要检查的字符串 * @return boolean 返
连wifi5元/小时 独领风骚 朕好帅 今晚你是我的人 十里桃花 高端定制厕所VP专用 一只老母猪 在家好无聊 你爹的wifi 密码是叫爸爸全拼 关晓彤和鹿晗分手了吗 蹭了我的
我有以下数据框列: 我需要将 csv 列中的对象字符串数据转换为总秒数。 示例:10m -> 600s 我试过这段代码: df.duration = str(datetime.timedelta(df
我是一名优秀的程序员,十分优秀!