- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
场景:我在 oracle 数据库中有将近 1500 万条记录,每条记录都有一个压缩的列。任务是导出同一个表,但列值已解压缩。我的解决步骤如下,
- Read a chunk of data using jdbcTemplate (returns List)
- For each of the record above decompress the column value and form an updated list
- Use the above list to insert into another table (This is being executed by another thread).
因此这里对一批48842条记录进行分析,
- Reading takes around 9 seconds
- Writing takes around 47 seconds
- Compression takes around 135 seconds
根据上述处理 1500 万条记录的分析,该过程大约需要 16 - 17 个小时。有没有办法改进它呢?我正在寻找减压技术的广阔领域。在我的情况下,即使减压技术有少量改进也会产生非常大的差异。任何帮助将非常感激。
下面是我使用的解压方法,
public String decompressMessage(String message)
throws Exception
{
ByteArrayInputStream byteArrayIPStream = null;
GZIPInputStream gZipIPStream = null;
BufferedReader bufferedReader = null;
String decompressedMessage = "";
String line="";
byte[] compressByteArray = null;
try{
if(message==null || "".equals(message))
{
logger.error("Decompress is not possible as the string is empty");
return "";
}
compressByteArray = Base64.decode(message);
byteArrayIPStream = new ByteArrayInputStream(compressByteArray);
gZipIPStream = new GZIPInputStream(byteArrayIPStream);
bufferedReader = new BufferedReader(new InputStreamReader(gZipIPStream, "UTF-8"));
while ((line = bufferedReader.readLine()) != null) {
decompressedMessage = decompressedMessage + line;
}
return decompressedMessage;
}
catch(Exception e)
{
logger.error("Exception while decompressing the message with details {}",e);
return "";
}
finally{
line = null;
compressByteArray = null;
if(byteArrayIPStream!=null)
byteArrayIPStream.close();
if(gZipIPStream!=null)
gZipIPStream.close();
if(bufferedReader!=null)
bufferedReader.close();
}
}
最佳答案
当然,最大的问题是在循环中连接字符串。字符串是不可变的,这意味着您将 O(n2) 时间复杂度强加给本质上为 O(n) 的作业。
用 StringWriter
替换字符串,并从输入端删除 BufferedReader
。使用 Reader#read(char[])
后跟 StringWriter#write(char[])
来累积 StringWriter
中的数据,然后在最后使用 StringWriter.toString()
获取字符串。
关于java - gzip解压java的改进,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32383618/
我希望通过扫描线为 x 的每个值找到 y 的值来绘制椭圆。 对于普通椭圆,公式很容易找到:y = Sqrt[b^2 - (b^2 x^2)/a^2] 但是当椭圆的轴旋转时,我一直无法弄清楚如何计算 y
假设我有这个矩阵: 1 1 1 | 1 0 0 1 | 1 这个系统显然有无限的解决方案。 x1 = -x2 x3 = 1 x1 依赖于 x2,x2 是免费的,但我感兴趣的是 x3。是否有一种算法可以
我正在考虑使用神经网络在我正在构建的太空射击游戏中为我的敌人提供动力,我想知道;当网络没有一个明确的好的输出集时,你如何训练神经网络? 最佳答案 我目前正在研究神经网络,如果没有明确定义的输入和输出编
我需要一个针对受限资源环境(例如具有以下特征的二进制(十六进制数据)嵌入式系统)进行优化的快速解压缩例程: 数据面向 8 位(字节)(数据总线为 8 位宽)。 字节值的范围并不统一为 0 - 0xFF
PHP代码: $txt="John has cat and dog."; //plain text $txt=base64_encode($txt); //base64 encode $txt=gzd
程序从用户那里接收到一个正数k,并且应该检查方程有多少解 3*x+5*y=k 在许多解决方案的情况下,该函数采用所有解决方案中 |x-y| 的较大绝对值。如果只有一种解决方案,它会打印出来。例如: 如
我必须求解以下微分方程: 或 如果没有 F_1 术语,代码就很简单。但我无法用包含 F_1 项来解决它,尽管我知道解决方案应该看起来像阻尼谐振。 from scipy.integrate import
我知道这个问题是前缀和的变体,我只是在设置它时遇到了一些困难。 最佳答案 定义: P[i] = A[i+1] + A[i+2] + ... + A[n] Q[i] = A[1] + ... + A[i
在许多在线示例中,文件在 Java 中使用编码缓冲区进行(解)压缩。然而,对于 NIO,无需选择一个好的缓冲区大小。我找到了文件和套接字的示例,但是是否有用于压缩输入的 NIO channel (例如
我有一个形式为 A*x = B 的方程组,其中 [A] 是一个三对角系数矩阵。使用 Numpy 求解器 numpy.linalg.solve 我可以求解 x 的方程组。 请参阅下面的示例,了解我如何开
我试图回答这个问题,只使用递归(动态编程) http://en.wikipedia.org/wiki/Longest_increasing_subsequence 从这篇文章中,我意识到最有效的现有解
解决此问题的方法是,按照我发帖的其中一项建议,将DLL添加到GAC中。正如我在我的一份答复中所指出的那样,在需要运行此过程的环境中,可伸缩性将不可用。因此,不能选择简单的解决方案。为了解决这个问题,我
是否有专门描述 AAC-LC 标准的规范,以及实现编解码器的现实目标,而不是通用编解码器,而是针对特定 AAC-LC 格式,具有预定义的 channel 数和采样率? 是否有一些针对 AAC-LC 的
我想使用通用的“p”来定义多路复用器将有多少输出。输入和所有输出均为 1 位。输出、控制和输入可以很简单,例如: signal control : std_logic_vector(log 2 p
我正在尝试在 javascript 中使用一些三 Angular 函数来定位一些菱形 div,但似乎我的逻辑在某处失败了。 你可以看到我尝试了这个公式:pos + trig * dimension。我
关闭。这个问题需要更多focused .它目前不接受答案。 想改进这个问题吗? 更新问题,使其只关注一个问题 editing this post . 关闭 4 年前。 Improve this qu
我一直在考虑这两个 JSON 库: 谷歌 Gson JSON.Simple XStream Google Gson 非常棒,它可以序列化具有无参数构造函数的类对象。 JSON.Simple 非常简洁,
使用 Gekko 拟合数据的数值 ODE 解。 嗨,大家好! 我想知道是否可以使用 GEKKO 拟合 ODE 的系数。 我尝试复制 example given here 失败. 这是我想出的(但有缺陷
众所周知,ASCII使用7位来编码字符,所以用来表示文本的字节数总是小于文本字母的长度 例如: StringBuilder text = new StringBuilder(); In
我找到了一个 link其中显示了一个示例,当线性方程组有无限多个解时,Matlab mldivide 运算符 (\) 给出“特殊”解。 例如: A = [1 2 0; 0 4 3]; b = [8;
我是一名优秀的程序员,十分优秀!