- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我们正在考虑分割超过 25GB 的大文件并导入到 Redshift DWH 中。到目前为止,我们可以简单地将文件分成1000000行,但是分成111个文件花了将近两个小时。
$i=1; cat .\TRGET_FILE.csv -ReadCount 1000000 | % { $_ > TRGET_FILE_$i.csv;$i++ }
我们还想在每个文件中将单词“\”转义为“\\”,以免阻止 Redshift 数据加载。但是这样既费时又费资源。
如果您知道更好的解决方案,能否请您告诉我?谢谢。
最佳答案
cat
是 Get-Content
的别名,它读取文件的速度非常慢。我还怀疑使用重定向可能也不是编写目标文件的最佳方式。
让我们尝试使用一些 .Net 类和方法:
$bigfile = '.\TRGET_FILE.csv'
$outfile = '.\TRGET_FILE{0:d5}.csv'
$linecount = 1000000
$i = 0
$outstream = $null
foreach ($line in [System.IO.File]::ReadLines($bigfile)) {
if (($i % $linecount) -eq 0) {
if ($null -ne $outstream) { $outstream.Close() }
$outstream = [System.IO.StreamWriter]::new(($outfile -f ($i/$linecount)))
}
$outstream.WriteLine($line.Replace('\', '\\'))
$i++
}
$outstream.Close()
[System.IO.File]::ReadLines
方法非常快,我们可以使用 foreach
循环快速迭代它,而无需从中读取每一行首先是文件。
由于循环的每次迭代处理一行,我们将把它写到目标文件中。但是我们不想使用像 Out-File -Append
这样的东西,因为它每次都会重新打开和关闭文件。
因此,当我们计算出达到行数时(或在第一次迭代时),我们可以打开一个新文件作为 [System.IO.File]::StreamWriter
,这样我们就已经打开它了,并且可以写出每一行。
当我们编写该行时,我们还将单个反斜杠 \
字符替换为两个反斜杠。
当我们达到所需的行数时,我们首先检查 $outstream
是否为 $null
(它将是 $null
第一次),如果它不为空,我们将关闭流(以关闭输出文件),然后使用新文件名创建一个新流。
输出文件名通过字符串模板模板化为 5 位数字。{0:d5}
-- 0
表示模板中的第一项,d
代表一个数字,5
> 告诉它确保数字至少为 5 位数字,因此它将用零填充。这将有助于文件排序。
最后,在循环的末尾,循环将在达到所需的行数(文件的尾部)之前结束,我们关闭最后一个流。
頠弣っテね
关于PowerShell : Divide Files by Line in Faster Way,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/68354389/
我第一次决定切换到 InnoDB 并尝试使用外键和其他 InnoDB 功能。 创建关系时,我应该只在一张表上声明它们吗?还是两个表? 例如,对于以下每种情况,您将在何处以及如何声明关系? 1 用户有很
老方法 当我以前在需要内容被搜索引擎索引的项目中异步加载页面时,我使用了一种非常简单的技术,那就是 Page $('#example').click(function(){
我目前正在为自己创建自己的自定义应用程序来编译 Java 文件。我的应用程序可以完美地编译 Java 文件,但现在我想开始为 Java 文件添加某种类型的测试(例如,我将一些变量传递给许多不同的文件
我需要建立从我的 iPhone 应用程序到客户服务器的 HTTPS 双向 SSL 连接。但是我没有看到任何安全的方式来将客户端证书传递给应用程序(这是一个电子银行应用程序,所以安全性确实是一个问题)。
我从事 Java 工作已经很长时间了,大约 6 个月前开始使用 Scala。我喜欢这门语言。我发现的一件事是,做事有多种方法。我不知道这是因为该语言的性质,还是因为它还很年轻并且在不断发展,习惯用法和
这是我所指的示例代码。 https://sites.google.com/site/ssljavaguide/example-code/2-way-ssl 我是否可以不设置与 keystore 相关的
我读过有关使用 MySQL AES_ENCRYPT/AES_DECRYPT(双向加密)不如使用 PHP - hash()(单向加密)安全的信息。 http://bytes.com/topic/php/
我正在进行一个路线选择项目,我需要使用道路类型和单向/双向交通信息填充道路网络。我想知道Tiger/Line道路数据集是否包含这样的数据。。我下载了加利福尼亚州的Tiger/Line道路数据集,但没有
我需要开发一个 iPad 应用程序,它应该管理两种方向模式(横向和纵向)。 根据 official Apple iOS documentation , 有 2 种方法可以继续。 -第一个包括在收到旋转
我正在训练一个 randomForest 模型,目的是保存它以进行预测(它将被下载并在外部上下文中使用)。我希望这个模型尽可能最小。 我读到有很多options和 packages减少模型的内存大小。
为什么将参数传递给匿名函数会影响结果?例如,下面的脚本将 a1 显示为 function(),将 a2 显示为数组。 var a1=(function(){return [1*2,2*2,3*2];}
我有一个 Python 列表: listx = [["a", 127, "Blue", 0], ["b", 127, "Red", 1], ["b", 127, "
在查看 Java 库时,特别是构造函数,我注意到字段通常会出于某种原因进行初始化和验证: public java.awt.Color(int r, int g, int b, int a) {
我想编写 Git 脚本。只创建一个 Unix 脚本是最好的方法吗? #!/bin/bashgit push origin master &&git checkout develop &&git mer
这个问题在这里已经有了答案: class or method alias in java (8 个回答) 去年关闭。 我有一个类的名称可能不必要地繁琐,其中包含许多我在其他地方使用的静态方法。 而不是
这个问题在这里已经有了答案: Best way to check function arguments? [closed] (14 个回答) Parameter validation, Best pr
在阅读我遇到的代码时,结构的以下定义和初始化: // header file struct foo{ char* name; int value; }; //Implementation file s
我正在使用多页表单方法在 Drupal 中开发一个自定义模块,并且我希望对步骤进行可视化。 步骤 1 > [_Step_2_] > 步骤 3 > 完成 商业规则: 他们总是能看到所有的步骤,以及他们现
Josh 的 answer 给我留下了深刻的印象关于客户端的“Angular 方式”和声明式风格。 但是你能帮我理解一下,怎么做吗: 我有一个单页应用程序,左侧是菜单栏,右侧是 div 容器。 当用户
Subversion 商店正在考虑改用 Mercurial,试图提前弄清楚开发人员的所有提示将是什么。这里有一个相当常见的用例,我不知道如何处理。 我正在研究一些较大的功能,我有一个重要的代码部分——
我是一名优秀的程序员,十分优秀!