apache-spark - Bluemix Spark 服务-6ren

apache-spark - Bluemix Spark 服务

转载作者：行者123 更新时间：2023-12-04 04:55:02

24

4

首先，我需要承认我是 Bluemix 和 Spark 的新手。我只想尝试使用 Bluemix Spark 服务。

我想对一个文本文件中的十亿条记录执行批处理操作，然后我想用我自己的一组 Java API 处理这些记录。

这是我想使用 Spark 服务来加快数据集处理速度的地方。

这是我的问题:

我可以从 Python 调用 Java 代码吗？据我了解，目前仅支持 Python 样板文件？在我的 Java API 下也有一些 JNI。
我可以使用 Bluemix Spark 服务执行批处理操作还是仅用于交互目的？
我可以使用 Bluemix 创建类似管道的东西(一个阶段的输出到另一个阶段)吗，我需要为它编写代码吗？

对于上述问题，我将不胜感激。

在此期待一些专家的建议。

谢谢。

最佳答案

IBM Analytics for Apache Spark 服务现已可用，它允许您使用 spark-submit 以及适用于 python/scala 的笔记本界面提交 java 代码/批处理程序。

之前，测试代码仅限于笔记本交互界面。

问候阿努普

关于apache-spark - Bluemix Spark 服务，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/32940788/

24

4

0

文章推荐： scala - 如何在swagger中隐藏参数？

文章推荐： Shell 脚本 - 如果目录不存在则创建目录

文章推荐： Polymer:如何循环播放HTML并将其呈现到屏幕上

文章推荐： angularjs - 警告: Cannot read property 'main' of undefined Use

java - IBM Bluemix : How the deploy an application on Bluemix?
我是 IBM Bluemix 的新手，到目前为止，应用程序(Spring-Hibernate-Rest App)运行在 Oracle 生态系统的 Tomcat Apache 服务器上，但由于一些需求变
containers - Bluemix-无法获取插件:从存储库 'container-service'中查找 'Bluemix'
我正在尝试使用Kubenetes插件安装最新的Bluemix容器服务。但是，我得到以下消息。跟着DOC - container service ocmbpro:~ ochen$ bx plugin i
java - 无法从 Bluemix Liberty 连接到 BlueMix MessageHub
我有一个连接 Bluemix Message Hub 的 liberty 应用程序。它在本地运行良好，但是当我从 Bluemix Liberty 运行 liberty 应用程序时，它永远不会运行。我正
containers - 将 Bluemix liberty 容器与 Bluemix session 缓存服务连接
我正在尝试连接 Bluemix Liberty 容器并使用 Bluemix session 缓存服务。到目前为止我做了什么: 创建桥接应用程序并添加 session 缓存服务创建 Liberty
ssl - 具有自定义域的 Bluemix Cloud Foundry 应用程序使用 bluemix 证书
我有一个部署到 IBM Bluemix (IBM Cloud) 的 Node JS Cloud Foundry 应用程序，我正在为它使用我自己的个人域。使用 letsencrypt 创建证书，我为 B
python - 当 Python 应用程序在 Bluemix 之外运行但在 Bluemix 中运行时失败
这是一个我要自己回答的问题，因为我已经看过无数次了，它确实应该算作一个FAQ。假设您已经创建了一个 Flask 或 Django 应用程序，并且它在您的测试环境中工作 - 在 bluemix 之外和
mysql - 如何在不将实例绑定(bind)到 Bluemix 上的应用程序的情况下获取在 IBM Bluemix 上创建的服务实例的服务凭证？
我已经在 IBM Bluemix 上创建了一个 ClearDB MySQL 实例。我可以在不将实例绑定(bind)到 Bluemix 上运行的应用程序的情况下查看凭据(主机名、用户名、密码等)吗？谢
android - IBM BLUEMIX - 有人可以在 bluemix 上为使用 cloudant 数据库的 android 应用程序显示服务器端代码吗
我正在尝试使用 Bluemix 作为服务器开发一个 Android 应用程序。请向我展示示例代码以及从 android 客户端注册以将数据存储在 cloudant 数据库中的简单用例。我对安卓客户端很
node.js - 将 parse-on-bluemix node.js 应用程序部署到 bluemix 失败
我正在 Bluemix 中部署 node.js，基本上是从 parse.com 迁移到 Bluemix。下面的错误是什么意思？我该如何解决？我正在使用 CF 命令行工具。下面附上日志。///////
mysql - 在 Bluemix 应用程序上使用 Bluemix 的 SQL 数据库服务与 ClearDB MySQL 的优势
我有一个 bluemix 应用程序，当前通过 PHP 使用 ClearDB MySQL 3rd party bluemix 服务进行设置。该服务运行良好，但我注意到免费版本的空间限制为 5mb(您可以
javascript - IBM Bluemix Cloud : IBM SDK for Node. js - 我们在 Bluemix 中的应用程序能否在不自动更新的情况下保留现有版本？
我们尝试通过运行来测试 IBM Bluemix Cloud 和 Watson Cloud 我们帐户中的几个 Watson Cloud 演示 node.js 应用程序，我们注意到以下情况: 在我们的帐
java - IBM BlueMix | IBM BlueMix | IBM BlueMix同时添加 jsf : The application or context root for this request has not been found: ./?
我有一个在 IBM Bluemix 上运行的简单 JSF 应用程序，与以下 J2EE 依赖项配合良好。 javax javaee-web-api 6.
ibm-cloud - 如何将 dashDB(在 Bluemix 上)与 Object Storage(在 Bluemix 上)连接起来？
我正在使用公共(public) Bluemix。我在 Bluemix 中使用我的 IBM ID 供应了一个 dashDB 服务实例。我还提供了对象存储服务。我想将文件从对象存储加载到 dashDB。
eclipse - Bluemix 中的空间和组织之间是什么关系？
每个组织是否允许多个空间？空间是用来分隔项目的吗？在 Bluemix 上使用组织和空间的最佳实践是什么？通过 eclipse : 通过浏览器: 最佳答案居然还有Bluemix document
authentication - BlueMix 注册错误
我在登录 IBM Bluemix 时遇到注册失败即使我创建了一个 IBM 有效帐户。我已经提供了我的电话号码和有效的电子邮件地址。我通过 Bluemix 中的有效 IBM ID 登录。最佳答案 st
networking - Bluemix 容器无法联网
当我尝试将公共(public) IP 地址分配给我的容器时(这是一个 Nginx 代理容器，因此我公开了端口 80 和 443)，我在让公共(public) IP 地址实际工作方面遇到了相当大的问题。
javascript - Bluemix 在出现下一个错误时崩溃
有谁知道为什么 NodeJS 实例会在 Next tick 或 Mongoose pre 错误时崩溃？当我们努力识别所有错误时，有哪些想法可以创建更稳定的应用程序？ IBM 是否计划提高弹性？我想我
mobile - Bluemix 的所有服务都可以在移动应用程序中使用吗？
我正在尝试创建一个移动应用程序并使用一些 Bluemix 服务。我在我的 bluemix 帐户中看到“移动”部分，其中包括: 移动应用内容管理器移动客户端访问移动基础移动质量保证推送通知动
certificate - Bluemix - 如何将证书添加到信任库
我有一个纯 Java 应用程序，目前使用基于 .jks 的 key 和信任库。据我了解，Bluemix 下的 SSL 协议(protocol)处理是在网络端使用单个端口和用于主机和域标识的通配符证书完
service - Bluemix 服务端点是否可公开访问？
我正在使用 IBM Bluemix 开发一个 CF 应用程序。提供服务并将其绑定(bind)到应用后，是否需要它提供的凭据引用可公开访问的 URL 或 IP 地址？我问是因为我一直在试验 Cloud

首页

博学

6Ren·AI

商城

apache-spark - Bluemix Spark 服务