apache-spark - Apache Spark 和 Apache Apex 之间有什么区别？-6ren

apache-spark - Apache Spark 和 Apache Apex 之间有什么区别？

转载作者：行者123 更新时间：2023-11-30 08:22:14

25

4

Apache Apex - 是一个开源企业级统一流批处理平台。它用于GE Predix 物联网平台。这两个平台之间的主要区别是什么？

问题

从数据科学的角度来看，它与 Spark 有何不同？
Apache Apex 是否提供 Spark MLlib 等功能？如果我们必须在 Apache apex 上构建可扩展的机器学习模型，该怎么做以及使用哪种语言？
数据科学家必须学习 Java 才能构建可扩展的机器学习模型吗？它有像 pyspark 这样的 python API 吗？
Apache Apex 可以与 Spark 集成吗？我们可以在 Apex 之上使用 Spark MLlib 来构建机器学习模型吗？

最佳答案

Apache Apex 是一个用于处理流数据的引擎。其他一些尝试实现相同目标的有 Apache Storm、Apache Flink。 Apache Apex 的与众不同之处在于:它内置了对容错性、可扩展性的支持，并且注重可操作性，这些都是生产用例中的关键考虑因素。

与Spark比较:Apache Spark实际上是批处理。如果您考虑 Spark 流(在底层使用 Spark)，那么它就是微批处理。相比之下，Apache apex 是真正的流处理。从某种意义上说，传入记录不必等待下一条记录进行处理。记录一到达就被处理并发送到下一级处理。

目前，添加对 Apache Apex 与 Apache Samoa、H2O 等机器学习库集成的支持的工作正在进行中请参阅https://issues.apache.org/jira/browse/SAMOA-49

目前支持Java、Scala。
https://www.datatorrent.com/blog/blog-writing-apache-apex-application-in-scala/对于 Python，您可以使用 Jython 尝试。但是，我自己还没有尝试过。所以，不太确定。

考虑到 Spark 是两个不同的处理引擎，与 Spark 集成可能不是一个好主意。但是，Apache apex 与机器学习库的集成正在进行中。

如果您有任何其他问题或功能请求，您可以将其发布到 apache apex 用户的邮件列表中:https://mail-archives.apache.org/mod_mbox/incubator-apex-users/

关于apache-spark - Apache Spark 和 Apache Apex 之间有什么区别？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/35579783/

25

4

0

文章推荐： java - 如何在 Grails UrlMappings 中设置默认 Urls？

文章推荐： javascript - Gatsby JS - 多个页面拉入不同类别的 Markdown 文件

文章推荐： r - 将 PCA 预处理参数传递给 train()

实例讲解JQuery中this和$(this)区别
平时很少在jquery中用到this。查看代码时发现用到了，就调试出this的值，心想原来如此。还是挺有用的。这里总结一下this与$(this)的区别和使用。　　$(this)生成的是什么？
jsf - Java单例类与JSF应用程序范围的托管bean - 区别？
使用单例类和应用程序范围的托管 bean 来保存应用程序数据有区别吗？我需要查找某些 JNDI 资源，例如远程 bean 接口(interface)，因此我为自己编写了一个单例来缓存我的引用并且只允
Groovy - 闭包与方法 - 区别
如果您仔细查看包含的图片，您会注意到您可以使用 Eclipse IDE 重构 Groovy 代码并将方法转换为闭包，反之亦然。那么，闭包到底是什么，它与方法有什么不同呢？有人可以举一个使用闭包的好例子
打包和重新打包之间的 Vagrant 区别
vagrant box repackage有什么区别( docs ) 和 vagrant package ( docs )？我意识到 vagrant package仅适用于 VirtualBox 提
Java BigDecimal 区别
我想看看是否有人可以解释为什么以下代码适用于 valueOf 但不适用于其他代码。 import java.math.BigDecimal; public class Change { publ
closures - 闭包与匿名函数(区别？)
这个问题已经有答案了: 已关闭12 年前。 Possible Duplicates: What is Closures/Lambda in PHP or Javascript in layman te
docker - Docker和Chef工会，区别
This question already has answers here: Vagrant, Docker, Puppet, Chef (3个答案) 2年前关闭。 docker和chef有什么共同
c# - 调试和发布之间的C#区别
以下代码在95％的机器上产生相同的输出，但是在几台机器上却有所不同。在 Debug模式下，输出: Changing from New to Fin OK 但在 Release模式下: Changing
javascript - 创建一个对象和初始化一个对象 - 区别
////Creating Object var Obj; // init Object Obj= {}; 它们之间有什么区别两个？有没有可能把它变成一个单行？这样使用有什么好处吗？
java - 程序定时器和自动定时器 - 区别
我想找出定时器服务之间的区别。我应该使用哪个以及何时使用。我正在使用 Jboss 应用服务器。 1) java.ejb.Schedule。 @Schedule注解或配置自xml。 2) javax.e
将对象传递给它时方法签名之间的 C++ 区别
我发现在 C++ 中可以通过三种不同的方式将对象传递给函数。假设我的类(class)是这样的: class Test { int i; public: Test(int x);
java - 字符串到对象类型转换 - 区别
有什么区别。 public class Test { public static void main(String args[]) { String toBeCast = "c
MYSQL 自动增加一列或只有一个整数，区别？
如果我有一列，设置为主索引，设置为INT。如果我不将其设置为自动递增，而只是将唯一的随机整数插入其中，与自动递增相比，这是否会减慢 future 的查询速度？如果我在主索引和唯一索引为 INT 的
ios - NSDateFormatter 区别
这两种日期格式有什么区别。第一个给出实际时间，第二个给出时间购买添加时区偏移值。 NSDateFormatter * dateFormatter = [[NSDateFormatter alloc]
javascript - 调用函数与返回函数调用 - 区别？
如果有一个函数，请说foo: function foo() { console.log('bar'); } 那么在 JavaScript 中，从另一个函数调用一个函数有什么区别，如下所示: f
javascript - 使用更具体的模块导入有什么好处/区别？
关闭。这个问题是opinion-based 。目前不接受答案。想要改进这个问题吗？更新问题，以便 editing this post 可以用事实和引文来回答它。 . 已关闭 4 年前。 Improv
一些构造函数代码之间的 C++ 区别
代码是什么: class Time { private: int hours; int minutes; int seconds; pu
两个数组声明之间的 C++ 区别
我知道这是非常基本的，但有人介意解释一下这两个数组声明之间的区别吗: #include array myints; ...和: int myints[5]; ...以及为什么 myints.size
伪类和伪元素在特异性计算中的 CSS 区别？
我学会了如何根据 http://reference.sitepoint.com/css/specificity 计算 css 特异性但是，基于this reference，我不明白伪类(来自c)和伪元
何时使用括号之间的 Linux 区别
为什么在运行 2) 时会出现额外的空行？对我来说 1 就像 2。那么为什么 2) 中的额外行？ 1) export p1=$(cd $(dirname $0) && pwd) #

首页

博学

6Ren·AI

商城

apache-spark - Apache Spark 和 Apache Apex 之间有什么区别？