java - 如何使用AES算法、Hadoop和Java加密大文本文件？

Question

我有一个大文本文件(100MB 或更多)，我想使用 AES 算法使用 Hadoop 和 Java(Map/Reduce 函数)加密文本文件的内容，但由于我是 Hadoop 的新手，我不太确定如何开始。我发现 JCE(一个 Java 库)已经实现了 AES，但我必须提供 16 字节的文本以及生成 16 字节密文(加密输出)的 key 。我的问题是如何使用这个 JCE/AES 方法来完成我的目的？我应该如何拆分我的大输入文本文件以及我应该将什么传递给 Mapper 类的 map 方法？关键和值(value)应该是什么？应该将什么传递给 Reduce 方法？任何类型的起点或代码示例将不胜感激。 (附:我是 Hadoop 的新手，我只是在我的机器上运行了 wordcount 问题，仅此而已。)

编辑 1:

实际上，我必须做以下事情:

1. 将输入文件拆分为 16 字节的 block 。
2. 对于每个 block ，我必须应用 AES 算法来获取 16 字节密文并将 16 字节密文写入输出文件。
3. 继续这个过程直到输入文件结束。

我现在的问题是，如何使用 Hadoop 的 Map 和 Reduce 方法将其并行化？ key 应该是什么以及如何在输出文件中累积输出密文？

Answer 1

使用 block 密码加密大流需要您解决一个基本问题，与您实际拆分工作的方式(M/R 或其他)完全无关。问题是 cipher-block chaining .因为每个 block 都依赖于前一个 block 的输出，所以你不能加密(或解密) block N w/o 首先加密(或解密) block N-1。这意味着您一次只能加密文件一个 block ，从 block 1 开始，然后是 block 2，然后是 block 3，依此类推。

为了解决这个问题，所有加密解决方案都采用相同的方式:将流分成足够大小的 block (正确的大小始终是一种权衡)并使用一些带外存储，将每个 block 与启动随机数 ( initialization vector )。这样可以独立加密和解密 block 。

HDFS 有一个天然的 block ( block )， block 上的访问模式是单线程和顺序的，使其成为加密 block 的自然选择。在名称节点上为每个 block 的随机数添加额外的元数据相对简单。如果您是为了自己的教育而这样做，那么这是一个有趣的项目。 key 管理是一个单独的问题，当然，与任何加密方案一样， key 管理实际上是重要的部分，而实现密码则是微不足道的部分。

如果您正在考虑将其用于现实世界，请立即停止。使用现成的Hadoop加密解决方案，其中有几种