google-bigquery - RAND() 在 BigQuery 中如何工作？-6ren

google-bigquery - RAND() 在 BigQuery 中如何工作？

转载作者：行者123 更新时间：2023-12-04 23:15:57

26

4

我正在尝试在 BigQuery 中找到最佳抽样实践。我的数据集很大(11B 行)，但分布往往是倾斜的。到目前为止，我一直在探索这两个选项:

HASHING - 我使用某个值的散列来选择样本。这是非常简单的方法，其背后的机制很清楚。
我的问题是关于第二个选项:

使用 RAND() 函数。我通过查看此处的 BigQuery 引用了解如何使用它:
https://cloud.google.com/bigquery/docs/reference/legacy-sql#rand
但是，我不知道这个功能究竟是如何工作的。

任何人都可以对那里发生的背景事情有更多的了解吗？

非常感谢，
画廊

最佳答案

我的回答将适用于 BigQuery Standard SQL 。 RAND() 函数在 [0, 1) 范围内生成 FLOAT64 类型的伪随机值，包括 0 和不包括 1。您使用它进行采样的方式类似于您使用 FARM_FINGERPRINT 函数的方式，但是您不需要指定任何现有的 key 。 RAND() 提供均匀分布，因此如果某些列有偏斜，则样本中会出现相同的偏斜。对表中 10% 的数据进行抽样的示例:

SELECT * FROM Table WHERE RAND() < 0.1

关于google-bigquery - RAND() 在 BigQuery 中如何工作？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/42115968/

26

4

0

文章推荐： cassandra - Apache Cassandra 从 2.1 升级 3.X

文章推荐： github - 如何在 webhook 推送事件中确定分支名称或 ID？

文章推荐： pyparsing 不解析整个字符串

PHP - rand(1,1000) = 1000 的概率与 rand(1,1000) = rand(1,1000) 的概率一样吗？
PHP是这样实现随机数生成的吗？假设我想计算是或否。每次我都有一定的概率百分比(比如:本例中为 0.05%)。我愿意: $possibilities = 100 / $probabilityPer
php rand vs Perl rand
我正在尝试将一段代码从 perl 移植到 php。 perl 代码片段是 akamai 的视频点播链接生成脚本的一部分。该脚本根据视频文件的位置/URL 生成种子(对于单个 URL，它始终是不变的)。
c - 为什么 rand() + rand() 产生负数？
我观察到 rand() 库函数在一个循环中只被调用一次时，它几乎总是产生正数。 for (i = 0; i < 100; i++) { printf("%d\n", rand()); } 但是
c++ - 循环 rand()，在下一个 rand() 上不要使用前一个？
我每个循环都需要两个随机数，但不能使用前一个循环的随机数。我迷路了，我已经搜索过，但不知道该怎么做。请帮忙!我把我的代码放在下面。因此，我具体需要的是生成存储在 n1 和 n2 中的两个随机数。然后，
mysql - 仅在一个查询中获取 RAND() 行而不使用 ORDER BY RAND()
在 MySQL 中使用 RAND() 从一个巨大的表中获取单个随机行非常慢: SELECT quote FROM quotes ORDER BY RAND() LIMIT 1 Here is an a
c++ - Matlab rand 和 c++ rand()
我正在尝试将 matlab 代码移植到 c++ 中，并在 matlab 中找到了 rand 的用法。matlab的rand函数和c++的rand()函数一样吗？如果没有，在 C++ 或 opencv
c++ - Matlab rand 和 c++ rand()
我正在尝试将 matlab 代码移植到 c++ 中，并在 matlab 中找到了 rand 的用法。matlab的rand函数和c++的rand()函数一样吗？如果没有，在 C++ 或 opencv
c - golang rand() 是否使用 libc rand()
我在 golang 和 C 中使用相同的种子，但得到不同的随机数我知道 php 使用 libc rand()，golang 怎么样？ //golang: rand.Seed(12345); rand.
ruby-on-rails - RSpec 测试 `rand` 内部 `rand`
我正在开发的游戏中有以下方法: def search if rand(5) == 0 weapon = Weapon.offset(rand(Weapon.count)).fi
python - rand 和 rands 在 python 中的实现
我需要在 Python 中从 C++ 实现 rand 和 rands 来重新加密一堆文件。但似乎无法正确处理。我有一个 exe 可以将文件解密为文本，我还需要源代码，在编辑文件后我需要使用相同的方法
mysql - 使用 MySQL RAND() 来避免 ORDER BY RAND()
我在每次插入时将 RAND() 值存储在表中，然后运行以下查询以从表中获取随机行。 select id from test where random_value >= RAND() LIMIT 5;
c++ - rand() 和 srand() 给出了奇怪的相似结果。 rand() 的返回值非常相似
这是一个看似常见的问题，所以我希望我听起来没有多余。但是从 rand() 返回的范围应该在 0 和 RAND_MAX 之间，但是，当我执行一个非常简单的 rand 语句时，我总是在非常小的范围内获得返
Ruby:Random#rand 和 Kernel#rand 之间的区别
Random#rand 和 Kernel#rand 真的有区别吗？据我所知，他们使用了不同的“C”函数。最佳答案它们在使用 Range 调用时表现相同，但在其他几种情况下则不同。当使用负整数-
go - rand.Prime(rand.Reader, 3072) 执行时间长
我以实现 RSA 为例。几周前，它似乎工作正常。然而，现在 key 的生成需要很长时间(>10 秒)。我已将范围缩小到以下行: import "crypto/rand" p, _ := rand.P
c - "rand()% 11"是什么以及这和 "rand()% 10+1"之间有什么区别？
关闭。此题需要details or clarity 。目前不接受答案。想要改进这个问题吗？通过 editing this post 添加详细信息并澄清问题. 已关闭 3 年前。 Improve th
mysql - LIMIT 然后 RAND 而不是 RAND 然后 LIMIT
我正在使用全文搜索来提取行。我根据分数 (ORDER BY SCORE) 对行进行排序，然后在前 20 行 (LIMIT 20) 中，我想对结果集进行兰德 (RAND)。因此，对于任何特定的搜索词
go - 为什么每次运行程序时 math/rand 包中的 rand.Intn() 函数都会生成相同的随机数序列？
我使用 rand.Intn(n int) 函数交换 slice 内的元素，但每次运行该程序时，输出都是 slice 内相同的随机元素序列。我在这里缺少什么明显的东西？最佳答案来自 documen
random - 使用 crypto/rand 通过 rand.Perm 生成排列
Go 有两个随机数包: crypto/rand，它提供了一种获取随机字节的方法 math/rand，它有一个很好的洗牌算法我想使用 math/rand 中的 Perm 算法，但要为其提供高质量的随机
mysql - rand () - 获取每个 id 的 10 个 rand 值的结果
我有如下查询: select s.name, m.c_id, m.r_stat, m.l_upd, m.desc, c.email from manual m join selling s join
mysql - MariaDB 中的奇怪行为或 RAND : Single RAND delivers more than 1 result
运行以下查询时: SELECT productid FROM product WHERE productid=ROUND(RAND()*(SELECT MAX(productid) FROM prod

首页

博学

6Ren·AI

商城

google-bigquery - RAND() 在 BigQuery 中如何工作？