个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
24
4
我正在使用 Redshift 进行一些 POC 工作，使用来自 Java 程序的复制命令通过 S3 json 文件加载数据。此 POC 正在测试我们为播种 Redshift 而不是日常使用所做的初始数据迁移。我的数据在 S3 中被分成大约 7500 个子文件夹，我希望能够并行插入子文件夹。每个子文件夹包含大约 250 个 json 文件，每个文件大约有 3000 行要插入。
我的类的单线程版本在大约 20 秒内从我的 s3 子文件夹之一加载文件(通过复制命令)。但是，当我引入第二个线程时(每个线程从 BoneCP 连接池获取一个 redshift 数据库连接)，每个复制命令(第一个除外)大约需要 40 秒。当我在 Redshift 中运行一个查询以显示所有正在运行的查询时，Redshift 说它同时运行两个查询(如预期的那样)。但是，就好像第二个查询真的在等待第一个查询在开始工作之前完成。我预计每个复制命令仍然只需要 20 秒。 Redshift 控制台显示我在单线程或双线程运行时的 CPU 使用率最多只有 60%。
这会不会是因为我的 Redshift 集群中只有 1 个节点？还是 Redshift 无法打开到 S3 的多个连接来获取数据？对于如何通过运行多线程复制命令获得一些性能提升的任何提示，我将不胜感激。
最佳答案
Amazon Redshift 利用所有节点从 Amazon S3 加载数据。从您的测试结果来看，运行多个 COPY 命令似乎不会提高性能，因为所有节点都已参与复制过程。
对于每个表，始终在单个COPY 命令中加载尽可能多的文件，而不是稍后追加。如果您要加载多个表，最好按顺序加载它们(但您的测试可能会发现加载多个较小的表可以并行完成)。
一些引用资料:
关于java - 通过 S3 COPY 将数据加载到 Redshift，多线程，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/32337679/
24
4
0
如何将 jQuery 代码转换为 React JS？ 我有一个带有文本“复制”的按钮。当我单击它时，应将其文本更改为“已复制”并复制到剪贴板。复制后，几秒钟后我希望文本返回到“复制”。我相信以下功能将
在任何情况下我都想使用 NumPy 的 np.copy() 而不是 Python 的 copy.copy() 方法？据我所知，两者都创建浅拷贝，但 NumPy 仅限于数组。 NumPy 是否有任何性能
%python -m timeit -s "import copy" "x = (1, 2, 3)" "copy.deepcopy(x)" 100000 loops, best of 3: 10.1
我想制作一个列表的副本(字面意思是一个单独的克隆，与原始列表没有任何共享)。我使用了 copy.copy() 并创建了 2 个单独的列表，但为什么每个副本的元素似乎仍然共享？ 这很难解释，请查看以下输
我不明白使用通配符时 COPY 命令的行为。 我在 C:\Source 中有一个文本文件叫 mpt*.asm我想把它复制到 C:\Dest .这是批处理脚本所需要的，我不能确定 mpt*.asm 的确
相关但不等同于:Golang: How to copy Context object without deriving 是否可以推导出 context.WithTimeout来自 context.Ba
您可以实现 Copy 特性来为类型提供复制语义而不是 move 语义。仅当其所有组成元素(产品类型的每个因素，或总和类型的每个变体的每个因素)也都是复制时，才能执行此操作。 这还允许您制作相当大的类型
我有一段代码，我需要确定编码值的类型，但我不知道它是字符串、无符号整数还是字符串的矢量。我想做以下几件事：。然而，来自弯曲板条箱的值不能实现复制，它在调用Decode_Bencode_Object之后
我需要复制一些对象，我读到 copy.copy 模块可以在 Python 上执行此操作。问题是，这些对象有一些属性是长数组。 那么这个方法效率高吗？由于性能在我所做的这项工作中很重要。 有更好的方法吗
我尝试高效地制作 lua 表的副本。我编写了以下运行良好的函数 copyTable()(见下文)。但我想我可以使用函数的“按值传递”机制获得更高效的东西。我做了一些测试来探索这个机制: functio
使用 pry 插件:pry-clipboard 当我输入“copy-history”来复制我历史的最后一行时，它实际上是在复制“copy-history”并粘贴“copy-history”。 我是不是
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 想改进这个问题？将问题更新为 on-topic对于堆栈溢出。 11 个月前关闭。 Improve this
我不了解Kotlin中通过访问器处理字段和复制方法之间的区别。就像这样: 访问者示例: class Person(val name: String, var age: Int
如何从节点复制一些属性。例如。我只想从节点“Extn”复制“Srno”，“RollNo”，“right”。
我有以下两个 XSL 转换，我希望将它们链接到一个 XSL 文件中。 第一次转换: 第二个转换(使用第一个转换的输出作为输入): 我的目标是从 WSDL
我是 Vertica DB 的新手，之前使用过 Mysql。我想在 vertica 表中插入唯一记录，但 vertica 在插入时不支持唯一约束。我通过 COPY 查询在表中插入记录。所以我无法在插入
std::copy 与执行策略参数之间是否存在正式关系？无论是在实践中还是在标准中。 例如，会不会只是这样， namespace std{ template It copy(std::
我用 root 运行了以下命令来备份同一主机上的文件夹:cp -r master 主备 size of master : 76GB size of master-backup : 71GB 知道为什么
我遇到过一段代码，乍一看似乎毫无意义。但我意识到这可能会产生一些我不知道的未知含义，因为 Python 不是我最熟悉的语言。 import copy node = copy.copy(node) 阅读
我正在设计一个基类，我希望它为 copy.copy 定义基本行为。此行为包括在控制台中打印警告，然后复制实例，就好像它没有 __copy__ 一样。属性。 当定义一个空白时Foo类并复制它的一个实例，
我是一名优秀的程序员,十分优秀！