系统之家 - Windows操作系统&装机软件下载网站!

当前位置: 首页  >  教程资讯  >  电脑教程 安装Hadoop1.0.4伪分布式的方法

安装Hadoop1.0.4伪分布式的方法

时间:2023-06-02 16:16:41 来源: 人气:

 一、使用环境,操作系统:Ubuntu12.04,Hadoop版本:1.0.4,二、Hadoop官网安装手册  单机安装分为“standalone”和“pseudo-distributed”两种模式,我使用的是伪分布式模式。,手册的安装步骤很详细,没有必要当翻译工了。但是手册为了通用性,牺牲了一些关键问题的讨论。第三节中提及一下。,三、手册缺陷  手册主要有两个问题没有说清楚:,1.Hadoop安装在哪个目录下好?,选择一般有两种:/usr/local和家目录下。我选择安装在家目录下,因为开始玩hadoop的时候,这样避免了权限的麻烦;如果要部署应用的话,应该安装在/usr/local。,2.配置文件的问题,这是安装hadoop最重要的步骤。所有配置文件均在${HADOOP_HOME}/conf目录下。,如果完全按照手册配置,你的hadoop可能经常遇到NameNode或DataNode启动不起来的情况。配置文件的不同主要在core-site.xml.,手册配置如下:, fs.default.name hdfs://localhost:9000 我的配置如下:, fs.default.name hdfs://localhost:8020     hadoop.tmp.dir   /home/zhengeek/hadoop-tmp  A base for other temporary directories.     ,有两处不同:,1.9000和8020这两个端口都可以,只要没有被占用。,2.最容易出问题的地方就在这里。比如这个哥们遇到的问题。,hadoop运行起来,hdfs和mapreduce有许多数据需要保存。这可以通过dfs.name.dir 和 dfs.data.dir设置。如果没有设置,那么数据就会默认存放在/tmp目录下,如果机器重启,tmp目录下的数据就会丢失,namenode自然启动不起来了。,如果设置了hadoop.tmp.dir,那么这些数据就会默认存放在改目录下。,有关hadoop.tmp.dir设置的讨论。,四、启动hadoop,1.格式化hdfs,$bin/hadoop namenode -format,2.启动hdfs,$bin/start-all.sh,3.检查是否成功,$jps,若成功,会看到namenode,secondarynamenode,datanode,jobtracker和tasktracker五个进程。,

作者

教程资讯

电脑教程排行

系统教程

系统主题