个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
26
4
我目前正在将 BigQuery 表提取到 Google Cloud Storage 中的分片 .csv 中——是否有任何方法可以对提取的行进行洗牌/随机化？ GCS .csv 将用作 GCMLE 模型的训练数据，当前导出的顺序不是随机的，因为它们由类似的“标签”聚集在一起。
这会导致训练 GCMLE 模型时出现问题，因为您必须将每个批处理中所有标签的随机样本交给模型。虽然 GCMLE/TF 能够随机化单个 .csv 中行的顺序，但(据我所知)没有任何方法可以随机化多个 .csv 中选择的行。因此，我正在寻找一种方法来确保输出到 .csv 的行确实是随机的。
最佳答案
Can BigQuery table extracted rows be randomized?
没有。 Extract Job API (因此任何建立在它之上的客户端)没有任何东西可以让你这样做。
I am looking for a way to ensure that the rows being output to the .csv are indeed random.
您应该首先创建对应于您的 csv 文件的表格，然后将它们一个接一个地提取到单独的 csv 中。在这种情况下，您可以控制 csv 中的内容
如果您担心处理成本(您需要扫描表的次数与扫描 csv 文件的次数一样多)- 您可以在 Migrating from non-partitioned to Partitioned tables 中查看分区方法。 .这仍然涉及成本但大大减少了
最后，零成本选项是使用 Tabledata.list带有分页的 API，同时在整个 csv 文件中分发响应 - 您可以在 client 中轻松完成此操作任你选择
关于google-bigquery - BigQuery 表提取的行可以随机化吗，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/46780489/
26
4
0
我是 python 的新手。我试图找到我的文本的频率分布。这是代码， import nltk nltk.download() import os os.getcwd() text_file=open(
我对安卓 fragment 感到困惑。我知道内存 fragment 但无法理解什么是 android fragment 问题。虽然我发现很多定义，比如 Android fragmentation re
尝试对 WordPress 进行 dockerise 我发现了这个场景: 2个数据卷容器，一个用于数据库(bbdd)，另一个用于wordpress文件(wordpress): sudo docker
这个问题已经有答案了: From the server is there a way to know that my page is being loaded in an Iframe (1 个回答)
我正在玩小型服务器，试图对运行在其上的服务进行docker化。为简化起见，假设我必须主要处理:Wordpress和另一项服务。 在Docker集线器上有许多用于Wordpress的图像，但是它们似乎都
我想要发生的是，当帐户成功创建后，提交的表单应该消失，并且应该出现一条消息(取决于注册的状态)。 如果成功，他们应该会看到一个简单的“谢谢。请检查您的电子邮件。” 如果不是，那么他们应该会看到一条适当
就是这样，我需要为客户添加一个唯一标识符。通过 strip 元数据。这就是我现在完全构建它的方式，但是我只有最后一部分告诉我用户购买了哪个包。 我试着看这里: Plans to stripe 代码在这
我有一个类将执行一些复杂的操作，涉及像这样的一些计算: public class ComplexAction { public void someAction(String parameter
这个问题已经有答案了: maven add a local classes directory to module's classpath (1 个回答) 已关闭10 年前。 我有一些不应更改的旧 E
我使用 fragment 已经有一段时间了，但我经常遇到一个让我烦恼的问题。 fragment 有时会相互吸引。现在，我设法为此隔离了一个用例，它是这样的: Add fragment A(也使用 ad
我的 html 中有一个 ol 列表，上面有行条纹。看起来行条纹是从数字后面开始的。有没有办法让行条纹从数字开始？ 我已经包含了正在发生的事情的片段 h4:nth-child(even) {
如何仅使用 css 将附加图像 html 化？ 如果用纯 css 做不到，那我怎么能至少用一个图像来做 最佳答案 这不是真正的问题，而是您希望我们为您编写代码。我建议您搜索“css breadcrum
以下是 Joshua 的 Effective Java 的摘录: If you do synchronize your class internally, you can use various te
在这里工作时，我们有一个框向业务合作伙伴提供 XML 提要。对我们的提要的请求是通过指定查询字符串参数和值来定制的。其中一些参数是必需的，但很多不是。 例如，我们要求所有请求都指定一个 GUID 来标
我有 3 个缓冲区，其中包含在 32 位处理器上运行的 R、G、B 位数据。 我需要按以下方式组合三个字节: R[0] = 0b r1r2r3r4r5r6r7r8 G[0] = 0b g1g2g3g4
我最近发现了关于如何使用 History.js、jQuery 和 ScrollTo 通过 HTML5 History API 对网站进行 Ajax 化的要点:https://github.com/br
我们有一个 Spring Boot 应用程序，由于集成需要，它变得越来越复杂——比如在你这样做之后发送一封电子邮件，或者在你之后广播一条 jms 消息等等。在寻找一些更高级别的抽象时，我遇到了 apa
我正在尝试首次实施Google Pay。我面临如何指定gateway和gatewayMarchantId的挑战。 我所拥有的是google console帐户，不知道在哪里可以找到此信息。 priva
昨天下午 3 点左右，我为两个想要从一个 Azure 帐户转移到另一个帐户的网站设置了 awverify 记录。到当天结束时，Azure 仍然不允许我添加域，所以我赌了一把，将域和 www 子域重新指
我正在使用terms facet在elasticsearch服务器中获取顶级terms。现在，我的标签"indian-government"不被视为一个标签。将其视为"indian" "governm
我是一名优秀的程序员,十分优秀！