- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章Hadoop、Spark、Hive到底是什么,做算法要不要学?由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
。
大家好,我是梁唐.
最近我发现,很多萌新说着想要做算法工程师,但是却对这个岗位的要求以及工作内容一无所知。以为学一个Python,再学一些机器学习、深度学习的模型就可以胜任了。工作就是用Python不停地写模型.
显然,这样的想法是有问题的,如果真这么干,即使通过了面试成功入职,也会干得非常痛苦。因为你会发现这也不知道那也不知道,做啥都很吃力,需要一段很长的时间学习。而这种为了应付工作临时抱佛脚的学习往往很难深入,有种不停打补丁的感觉.
今天就和大家聊聊算法工程师的几项基本功,看看除了算法和模型之外,还需要学些什么.
首先当然是hadoop,不过hadoop不是一门技术,而是一个大数据框架。它的logo是一只黄色的小象,据说是这个项目的创建者用女儿的玩具命名的.
经过了很多年的发展,现在hadoop框架已经非常成熟,衍生出了一个庞大的家族。有多庞大呢,我在google里给大家找了一张图,大家可以看看感受一下,这里面有多少是自己知道的,有多少没听说过.
当然对于算法工程师来说,hadoop家族并不需要全部了解,只需要着重关注几个就可以了.
首先是hdfs,hdfs是hadoop框架中的分布式文件系统。因为在工业场景当中,数据量是非常庞大的,动辄TB甚至是PB量级。如此庞大的数据,显然不可能存在一块磁盘里,必须要分布式存储,分成不同的部分,不同的部分分开存储。通过hdfs我们可以很方便地实现这一点,可以使用一些简单的shell命令管理大规模的数据.
hdfs的内部是分片(block)存储的,并且设计了严谨的容错机制,尽可能地保证了数据的准确性。一般我们用hdfs存储一些离线数据,也就是对延迟要求不高的数据,比如模型的训练数据。它的特点是存储能力很强,但是读取速度很慢,中间的延迟很长.
因为训练数据的规模往往也非常庞大,并且从用户线上的实时行为转化成模型需要的输入,中间需要大量的计算步骤。这会带来巨大的计算压力,因此对于这样的数据,我们往往都是借助于hdfs做离线处理。设计一套数据处理流程,进行若干步骤的处理,每一步处理的中间数据都存储在hdfs上.
模型训练的时候,也通过挂载hdfs的方式直接读取tensor进行训练.
hdfs是hadoop的存储系统,hadoop同样也推出过一套计算系统,就是MapReduce.
我在之前的文章曾经介绍过MapReduce的原理,其实非常简单,它将数据的计算过程抽象成了两个步骤。一个步骤叫map,一个步骤叫reduce.
map步骤做的数据的映射,比如我们从一个很大的json文件当中读取出我们想要的字段,在这个步骤当中,我们从json获得了几个字段.
reduce步骤做的是汇总,我们把刚刚map阶段得到的结果,按照我们的想法汇聚在一起,比如计算平均数、中位数等等.
这个想法巧妙的地方在于map和reduce都是可以分布式进行的,比如map阶段,我们可以对hdfs里的每一个文件都设置一个map读取文件进行处理。map阶段结束之后,我们也可以起多个reducer对map的结果进行加工,尽可能导致了整个过程都是并发进行的,也就保证了数据的处理速度.
虽然MapReduce的提出到现在已经十多年了,但仍然没有淘汰,还在很多场景当中广泛使用.
hive也是hadoop家族核心的一员,它的思想也很巧妙,做了一件非常有利于程序员的事情.
使用hdfs以及MapReduce其实就足够应付几乎所有大数据计算的场景了,但是足够应付并不代表应付起来很舒服。有些场景使用起来就不是很顺手,比如说我们要把两份数据关联在一起,一份是用户点击数据,一份是商品数据,我们想要得到用户点过的商品信息.
你会发现使用MapReduce去做这样一件事情会非常蛋疼,要写很多代码。所以有人突发奇想,我们能不能利用hdfs以及MapReduce做一套好用一点的数据处理系统,比如说将数据全部格式化,然后像是数据库一样使用SQL来进行数据的查询和处理?于是就有了hive.
hive底层的运算框架就是MapReduce,只不过有了表结构之后,很多之前很复杂的操作被大大简化了。尤其是数据表之间的join、group by等操作,之前需要写大量MapReduce的代码,现在几行SQL就搞定了.
不过hive毕竟不是数据库,它的使用还是有一些它自己专属的奇淫技巧。比如说避免数据倾斜的情况,比如说设置合理的内存分片,比如说udf的使用等等.
只是懂SQL的语法是写不好hive的,多少还需要做一些深入的了解.
说到spark相信很多同学也是久仰大名,它是一个非常著名的开源集群计算框架,也可以理解成一个分布式计算框架.
spark在MapReduce的基础上对MapReduce当中的一些问题进行了优化,比如MapReduce每次运算结束之后都会把数据存储在磁盘上,这会带来巨大的IO开销.
而spark使用了存储器内运算技术,可以尽量减少磁盘的写入。这其中的技术细节看不懂没有关系,我们只需要知道它的运算性能比MapReduce快很多就可以了,一般来说运算速度是MapReduce的十倍以上。并且spark原生支持hdfs,所以大部分公司都是使用hdfs做数据存储,spark来进行数据运算.
在hadoop推出了hive之后,spark也推出了自己的spark SQL。不过后来hive也支持使用spark作为计算引擎代替MapReduce了,这两者的性能上差异也就很小了,我个人还是更喜欢hive一点,毕竟写起来方便.
另外spark除了计算框架之外,当中也兼容了一些机器学习的库,比如MLlib,不过我没有用过,毕竟现在机器学习的时代都快结束了。很少再有使用场景了,大家感兴趣也可以了解一下.
最后做一个简单的总结,总体上来说想要成为一名合格的算法工程师,hadoop、MapReduce、hive这些或多或少都需要有所了解。不说能够精通到原理级,但至少需要会用,大概知道里面怎么回事.
这也是工业界和实验室里的最大区别,毕竟学校里的实验数据量也不会很大,直接放在内存里就完事了。所以数据处理一般都是numpy + pandas什么的,但是在公司里,几乎没有pandas的用武之地,毕竟数据量太大了,不可能都放内存里,必须要借助大数据计算平台来解决.
好了,就说这么多吧,感谢大家的阅读.
原文链接:https://mp.weixin.qq.com/s/tEhT61XM9M3YKuWhV2SxVQ 。
最后此篇关于Hadoop、Spark、Hive到底是什么,做算法要不要学?的文章就讲到这里了,如果你想了解更多关于Hadoop、Spark、Hive到底是什么,做算法要不要学?的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
目前正在学习 Spark 的类(class)并了解到执行者的定义: Each executor will hold a chunk of the data to be processed. Thisc
阅读了有关 http://spark.apache.org/docs/0.8.0/cluster-overview.html 的一些文档后,我有一些问题想要澄清。 以 Spark 为例: JavaSp
Spark核心中的调度器与以下Spark Stack(来自Learning Spark:Lightning-Fast Big Data Analysis一书)中的Standalone Schedule
我想在 spark-submit 或 start 处设置 spark.eventLog.enabled 和 spark.eventLog.dir -all level -- 不要求在 scala/ja
我有来自 SQL Server 的数据,需要在 Apache Spark (Databricks) 中进行操作。 在 SQL Server 中,此表的三个键列使用区分大小写的 COLLATION 选项
所有这些有什么区别和用途? spark.local.ip spark.driver.host spark.driver.bind地址 spark.driver.hostname 如何将机器修复为 Sp
我有大约 10 个 Spark 作业,每个作业都会进行一些转换并将数据加载到数据库中。必须为每个作业单独打开和关闭 Spark session ,每次初始化都会耗费时间。 是否可以只创建一次 Spar
/Downloads/spark-3.0.1-bin-hadoop2.7/bin$ ./spark-shell 20/09/23 10:58:45 WARN Utils: Your hostname,
我是 Spark 的完全新手,并且刚刚开始对此进行更多探索。我选择了更长的路径,不使用任何 CDH 发行版安装 hadoop,并且我从 Apache 网站安装了 Hadoop 并自己设置配置文件以了解
TL; 博士 Spark UI 显示的内核和内存数量与我在使用 spark-submit 时要求的数量不同 更多细节: 我在独立模式下运行 Spark 1.6。 当我运行 spark-submit 时
spark-submit 上的文档说明如下: The spark-submit script in Spark’s bin directory is used to launch applicatio
关闭。这个问题是opinion-based .它目前不接受答案。 想改善这个问题吗?更新问题,以便可以通过 editing this post 用事实和引文回答问题. 6 个月前关闭。 Improve
我想了解接收器如何在 Spark Streaming 中工作。根据我的理解,将有一个接收器任务在执行器中运行,用于收集数据并保存为 RDD。当调用 start() 时,接收器开始读取。需要澄清以下内容
有没有办法在不同线程中使用相同的 spark 上下文并行运行多个 spark 作业? 我尝试使用 Vertx 3,但看起来每个作业都在排队并按顺序启动。 如何让它在相同的 spark 上下文中同时运行
我们有一个 Spark 流应用程序,这是一项长期运行的任务。事件日志指向 hdfs 位置 hdfs://spark-history,当我们开始流式传输应用程序时正在其中创建 application_X
我们正在尝试找到一种加载 Spark (2.x) ML 训练模型的方法,以便根据请求(通过 REST 接口(interface))我们可以查询它并获得预测,例如http://predictor.com
Spark newb 问题:我在 spark-sql 中进行完全相同的 Spark SQL 查询并在 spark-shell . spark-shell版本大约需要 10 秒,而 spark-sql版
我正在使用 Spark 流。根据 Spark 编程指南(参见 http://spark.apache.org/docs/latest/programming-guide.html#accumulato
我正在使用 CDH 5.2。我可以使用 spark-shell 运行命令。 如何运行包含spark命令的文件(file.spark)。 有没有办法在不使用 sbt 的情况下在 CDH 5.2 中运行/
我使用 Elasticsearch 已经有一段时间了,但使用 Cassandra 的经验很少。 现在,我有一个项目想要使用 Spark 来处理数据,但我需要决定是否应该使用 Cassandra 还是
我是一名优秀的程序员,十分优秀!