csv - 将大型 CSV 加载到 Google BigQuery 时出错-6ren

csv - 将大型 CSV 加载到 Google BigQuery 时出错

转载作者：行者123 更新时间：2023-12-03 18:22:23

26

4

将大型 CSV 加载到 bigquery 时出错。我在网上阅读的任何地方都看到压缩文件的大小限制为 5gb，但 CSV 没有限制。

加载操作中的 BigQuery 错误:错误处理作业“bqjob_r3016bbfad3037f_0000015cea1a1eff_1”:输入 CSV 文件不可拆分且
至少有一个文件大于允许的最大大小。大小为:24686861596。最大允许大小为:4294967296。

最佳答案

BigQuery 文档在此处列出了导入作业的各种限制:https://cloud.google.com/bigquery/quota-policy#load_jobs
它特别指出，压缩 CSV 文件的限制为 4 GB。

关于“不可拆分”CSV 文件的错误消息可能有两种情况:

CSV 文件被压缩

在其中一个字段中存在引用字符不匹配，这使得该字段中的字符串看起来很长，也使文件不可拆分(这就是您的情况可能发生的情况)。

关于csv - 将大型 CSV 加载到 Google BigQuery 时出错，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/44784757/

26

4

0

文章推荐： Laravel 回显服务器在退出控制台上被杀死

文章推荐： ioc-container - 为 asp.net webapi 选择 IoC 容器

文章推荐： google-sheets - Google 表格跳转到单元格

文章推荐： python - 如何为 FileField Django 查找图像的高度和宽度

javascript - 加载 gif 不等待 iFrame 加载？
我想要显示正在加载的 .gif，直到所有内容都已加载，包括嵌入的 iframe。但是，目前加载 gif 会在除 iframe 之外的所有内容都已加载后消失。我怎样才能让它等到 iframe 也加载完毕
javascript - AngularJS 加载 JSON 数据然后从中解析/加载 HTML
首先，这是我第一次接触 Angular。我想要实现的是，我有一个通知列表，我必须以某种方式限制 limitTo，因此元素被限制为三个，在我单击按钮后，其余的应该加载。我不明白该怎么做: 设置“ V
java - 瓦片不会随 map View 加载，但会随 fragment 加载
我正在尝试在我的设备上运行这个非常简单的应用程序(使用 map API V2)，并且出于某种原因尝试使用 MapView 时: 使用 java 文件: public class MainMap e
python - 通过 PyXLL 加载 scipy 时出现问题 - 是否有人成功通过 PyXLL 加载 Scipy？
我正在使用 Python 2.6、Excel 2007 Professional 和最新版本的 PyXLL。在 PyXLL 中加载具有 import scipy 抛出异常，模块未加载。有没有人能够在
unreal-engine4 - 虚幻引擎 4 : What is correct way to PAK files, 加载/挂载它们并在打包游戏中使用 AssetRegistry 加载 Assets ？
我想做这个: 创建并打包原始游戏。然后我想根据原始游戏中的蓝图创建具有新网格/声音/动画和蓝图的其他 PAK 文件。原始游戏不应该知道有关其他网格/动画/等的任何信息。因此，我需要在原始游戏中使用 A
你会几种读取/加载 properties配置文件方法
**摘要：**在java项目中经常会使用到配置文件，这里就介绍几种加载配置文件的方法。本文分享自华为云社区《【Java】读取/加载 properties配置文件的几种方法》，作者：Copy工程师。
class - 条件类导入/加载
在 Groovy 脚本中是否可以执行条件导入语句？ if (test){ import this.package.class } else { import that.package.
CUDA:加载/存储效率与全局内存指令重放之间的关系
我正在使用 NVidia 视觉分析器(来自 CUDA 5.0 beta 版本的基于 eclipse 的版本)和 Fermi 板，我不了解其中两个性能指标: 全局加载/存储效率表示实际内存事务数与请求事
加载 View 时angularjs清除历史记录
有没有办法在通过 routeProvider 加载特定 View 时清除 Angular JS 存储的历史记录？ ? 我正在使用 Angular 创建一个公共(public)安装，并且历史会积累很多，
initialization - 加载 Storyboard时首先调用什么方法？
使用 Xcode 4.2，在我的应用程序中， View 加载由 segue 事件触发。在 View Controller 中首先调用什么方法？ -(void) viewWillAppear:(BOO
Django JSONField转储/加载
我在某些Django模型中使用JSONField，并希望将此数据从Oracle迁移到Postgres。到目前为止，当使用Django的dumpdata和loaddata命令时，我仍然没有运气来保持J
Cocoa 加载 ViewNib
创建 Nib 时，我需要创建两种类型:WindowNib 或 ViewNib。我看到的区别是，窗口 Nib 有一个窗口和一个 View 。如何将 View Nib 加载到另一个窗口中？我是否必须创建
rust - 加载.env并使用辅助函数将其转换为一般结构
我想将多个env.variables转换为静态结构。我可以手动进行: Env { is_development: env::var("IS_DEVELOPMENT")
c++ - 加载/存储宽松原子变量和普通变量有什么区别？
正如我从一个测试用例中看到的:https://godbolt.org/z/K477q1 生成的程序集加载/存储原子松弛与普通变量相同:ldr 和 str 那么，宽松的原子变量和普通变量之间有什么区别吗
javascript - 加载/重定向到外部网站时如何添加加载屏幕？
我有一个重定向到外部网站的按钮/链接，但是外部网站需要一些时间来加载。所以我想添加一个加载屏幕，以便外部页面在显示之前完全加载。我无法控制外部网站，并且外部网站具有同源策略，因此我无法在 iFrame
bash - 加载.env的Dockerfile入口点bash文件在容器中不可见
我正在尝试为我的应用程序开发一个Dockerfile，该文件在初始化后加载大量环境变量。不知何故，当我稍后执行以下命令时，这些变量是不可用的: docker exec -it container_na
javascript - 加载 JavaScript
很难说出这里问的是什么。这个问题是含糊的、模糊的、不完整的、过于宽泛的或修辞性的，无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开它，visit the help center 。已关
JavaScript 加载 html
我刚刚遇到一个问题，我有一个带有一些不同选项的选择标签。现在我想检查用户选择了哪些选项。然后我想将一个新的 html 文件加载到该网站(取决于用户选中的选项)宽度 javascript，我该怎么做
黑莓 - 应用程序设置保存/加载
我知道两种保存/加载应用程序设置的方法: 使用PersistentStore 使用文件系统(存储，因为 SDCard 是可选的) 我想知道您使用应用程序设置的做法是什么？使用 PersistentS
Vulkan 加载 vkCreateDebugReportCallbackEXT
我开始使用 Vulkan 时偶然发现了我的第一个问题。尝试创建调试报告回调时(验证层和调试扩展在我的英特尔 hd vulkan 驱动程序上可用，至少它是这么说的)，它没有告诉我 vkCreateDeb

首页

博学

6Ren·AI

商城

csv - 将大型 CSV 加载到 Google BigQuery 时出错