sql - 可重复随机抽样SQL

Question

我需要审查我的解决方案，该解决方案从存储在 MPP 机器上的表中抽取 100 行随机行(目前是 Netezza，以后可能是 hadoop/等)

我对使用 Netezza 的 rand() 不感兴趣，因为我希望以后能够重现相同的样本，而且我不指望使用 setseed()。

我现在使用的解决方案是:

SELECT * FROM MY_TABLE ORDER BY ID % 371，ID % 17，ID % 501，ID LIMIT 100

其中 3 个数字是我用自己的 RNG 生成的素数。我在正确的轨道上吗？ 这个“随机”样本是否足够随机？

注意:我不需要它是一个加密的强随机样本，我只是想确保我每次都选择不同的样本，并统一采样，我希望能够轻松地重现我的如果需要，示例(通过执行相同的 SQL)。

谢谢!

Answer 1

我不会尝试在 SQL 中生成随机数，因为很容易获得一些真正的随机数，将它们粘贴到表或存储过程中。

转到 https://www.fourmilab.ch/hotbits/secure_generate.html要获得 256 个十六进制随机位，将数字一次分组 4，转换为十进制整数，然后使用前 100 个数字作为 key 。

您将拥有一个可重复的序列，并且您可以根据需要制作任意数量的真正随机序列。

如果您需要具有均匀分布的可重复伪随机数，同样的原则也适用。只需为数字使用不同的来源。例如，您可以编写一个 Python 脚本，该脚本使用包含的 random 模块来生成您的数字。

至于要使用的 SQL，如果您正确地构建了数据库，它就很简单。在这种情况下，由于我构建了一次随机表，并多次将其用于查询，因此我将构建该表以包含主键，而不仅仅是生成的随机数。或者，如果我要用不同的数字集重复此操作，那么我将构建一个关系表(如在 ER 建模中)，将随机数表链接到我正在抽样的表。我不会强制将所有内容都放入 SQL 中，而是生成随机数表并使用脚本语言构建关系表。

在上面给出的示例中，您需要 100 个样本，因此随机抽样表将包含由外部脚本选择的 100 个主键。每次运行抽样时，您都会得到完全相同的记录，直到更改随机抽样表为止。要更改表，请转储要采样的表的主键，然后运行脚本以随机选择 100 个，方法是生成 1 和主键总数之间的 100 个数字。如果您使用像 Python 这样的工具，您可以获得均匀随机数、 Gamma 分布、高斯分布、对数正态分布、帕累托分布等。