java - Mapreduce 中的 HTTPS 请求

Question

我正在尝试从我的作业的 Mapper 类发出 HTTPS 请求。我正在使用 Java 的 HttpsURLConnection 库，它需要我设置以下属性:javax.net.ssl.keyStore
javax.net.ssl.keyStorePassword

在 Java 应用程序中设置这些属性没有问题，但在 MapReduce 中，我在映射器级别设置这些属性时遇到问题。我不知道如何“到达”Hadoop 之外并为每个映射器设置这些属性。

Answer 1

从 MapReduce 创建请求不是一个好的方法。直觉是:您使用 MapReduce 来扩展您的计算。您没有提供有关您正在做的事情的更多信息，所以让我们考虑一下当您扩展(数量级)任务时会发生什么。

• 如果您的目标是连接到一个地方，那么您实际上是 (D)DoSing 它。另一端的服务器可能不会像您的 MapReduce(集群)那样扩展。

• 如果您正在抓取多个目标，请考虑使用一些抓取分布式框架(在 Google 上找到一些)。