个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
29
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章linux下hadoop配置过程由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
1，安装linux 本文假设从裸机开始，所以要先装linux。本人是ubuntu对支持者，所以装的是ubuntu，废话没有，很容易就装好了。在安装过程中，要注意所有节点对主机名应该有规律，比如node0, node1, node2 ... 2，准备 下面对软件对安装，全都使用了apt，这个软件需要互联网链接，如果你对网速极慢，或者根本链接不到外部网络（这个现象在教育网内很常见），可以从一个能上网对ubuntu电脑上的/var/cache/apt/archives文件夹里deb文件出来安装（什么？你问我这个文件夹里为什么没有想要的包，这个文件夹是apt对缓存文件夹，想要里面有你想要对东西，不用我提醒你应该怎么办了吧）。 ubuntu默认已经装好了openssh-client，需要安装openssh-server。命令如下： 。
然后是jdk： 。
3，配置网络 如果你的节点们可以通过dhcp服务器获得ip，我个人建议，这样做，原因是简单，不用怎么配置就搞定了。或者可以使用静态ip，作为一个牛b的linux大牛，应该可以通过一行命令来设置静态ip，但是我不会。我通常都是在gnome提供的网络管理器来设ip对。如果你用对linux里没有图形界面，那样请google。 设置好了ip地址之后，记忆在/etc/hosts文件中给每个节点起个名字，最好就是各自对主机名，这样有利于下面对配置和管理。 hadoop要求各节点间可以不需要输入密码就能用ssh互相登录。我使用了比官方方法简单一点方法来设置，但是据说安全性有点儿问题。下面是方法： 在某个节点上执行如下命令： 。
。
这个命令之后需要多按几次回车，知道再次出现命令提示符。当然，这个做法也不是很安全，里面有个输入key的地方，官方的建议是，输入一首歌的歌词，呵呵，这个建议很搞笑。当然在我的步骤中，这个key就是空值了。 。
然后把整个.ssh文件夹考到所有对节点上，具体方法可以使用scp命令，具体命令由于和具体环境有关，下面不写。 这样网络就设置对差不多了。 4，安装hadoop 解压，这个比较简单，命令不写。解压对位置最好每个hadoop都一样，不一样有什么后果，我没试过。 之后要进行一些配置，首先进入解压后目录对conf文件夹，要修改对配置文件包括hadoop-env.sh hadoop-site.xml masters slaves hadoop-env.sh中要uncomment下面一行： 。
当然具体的值，也要根据具体情况进行更改。 接下来是hadoop-site.xml，下面是我的文件内容。 。
这个例子很直白，不解释。 masters里面是jobtracker和namenode所在节点的主机名或者ip地址，我的masters文件里只有一行，当然如果你想要设置多个节点作为主节点，也可以。 slaves里面是所有tasktracker和datanode对主机名或ip地址。 5，运行 先进入hadoop安装文件夹。然后依次运行如下命令： 。
不出意外的话，现在hadoop就可以使用了。 Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据.
最后此篇关于linux下hadoop配置过程的文章就讲到这里了,如果你想了解更多关于linux下hadoop配置过程的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
29
4
0
如果我声明了类似的类型 type test(NSIZE) integer, len :: NSIZE real :: dummy(NSIZE) contains procedure,
我知道这是一个不太可能的事情，但是由于“选项私有(private)模块”的限制，甚至更糟糕的“私有(private)子/函数”的限制，有谁知道是否有一种方法可以从 Excel 应用程序隐藏 VBA 过
我有两个表，property 和 component。 component.id_property = property.id。 我正在尝试创建一个过程，该过程对所选属性的组件进行计数，如果所选属性没
我有一份报告，它是在 SSRS 2005 中开发的，我正在使用存储过程从数据库中获取结果。报告输出的结果非常简单，如下图所示。 如果假设我正在寻找不同的成员 例如:- MemberID c108 c
我需要一个通用函数/过程，该函数/过程将根据提供的数据计算出我的淡入淡出时间和值，如下所示： 我将字节值保存在字节数组中：这些是起始值。然后，我在其他数组中存储了一些值：这些将是新值。然后我有时间要提
我想在界面的多个按钮上创建相同的操作。是否只能通过创建单独的操作监听器方法并调用执行操作的方法才可行，还是还有其他方法？是否可以将按钮放在一个组中并执行以下操作:- groupButton.setOn
我有以下情况: procedure Test; begin repeat TryAgain := FALSE; try // Code // Code if this an
我正在尝试执行以下操作；假设我在 Oracle 中创建了一个对象类型 create type test as object( name varchar2(12), member procedure p
问题: 如果可能的话，如何声明一个用于任何类型参数的函数 T其中 T 的唯一约束是它被定义为 1D array如 type T is array ( integer range <> ) of a_r
我正在尝试创建这个 mysql 过程来制作一个包含今年所有日期和所有时间的表(以一小时为间隔。) CREATE TABLE FECHAS ( created_at datetime ); CREA
所以， 我在这里面临一个问题，这让我发疯，我认为这是一个愚蠢的错误，所以我不是 MySQL 的新手，但它并不像我想象的那样工作。 尝试将此语句部署到 MySQL 后，我收到此错误: ERROR 106
我有一个架构，其中包含星球大战中的人物列表、他们出现的电影、他们访问的行星等。这是架构: CREATE DATABASE IF NOT EXISTS `starwarsFINAL` /*!40100
我一直在为一家慈善机构创建一款应用程序，允许家庭在节日期间注册接收礼物。数据库组织有多个表。下面列出了这些表(及其架构/创建语句): CREATE TABLE IF NOT EXISTS ValidD
正如上面标题所解释的，我正在尝试编写一个sql函数来按日期删除表而不删除系统表。我在此消息下方放置了一张图片，以便直观地解释我的问题。任何帮助将不胜感激!感谢您的时间! 最佳答案 您可以通过查询INF
DELIMITER $$ CREATE PROCEDURE INSERT_NONE_HISTORY_CHECKBOX() BEGIN DECLARE note_id bigint(20); F
是否可以编写一个存储过程或触发器，在特定时间在数据库内部自动执行，而无需来自应用程序的任何调用？如果是，那么任何人都可以给我一个例子或链接到一些我可以阅读如何做到这一点的资源。 最佳答案 查看 pgA
我需要创建一个过程:1)从表中的字段中选择一些文本并将其存储在变量中2) 更新相同的记录字段，仅添加 yyyymmdd 格式的日期以及过程中的附加文本输入...类似这样的... delimiter /
好的，这就是我想做的: 如果条目已存在(例如基于字段name)，则只需返回其id 如果没有，请添加 这是我迄今为止所管理的(对于“如果不存在，则创建它”部分): INSERT INTO `object
以下是我编写的程序，用于找出每位客户每天购买的前 10 件商品。 这是我尝试过的第一个 PL/SQL 操作。它没有达到我预期的效果。 我使用的逻辑是接受开始日期、结束日期以及我对每个客户感兴趣的前“x
我正在尝试在MySQL中创建一个过程那insert week s(当年)发送至我的 week table 。但存在一个问题，因为在为下一行添加第一行后，我收到错误: number column can
我是一名优秀的程序员,十分优秀！