Hadoop1.x伪分布式安装与配置

1：设置DNS解析,确保包含127.0.0.1 sch记录

[root@sch ~]# vi /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1 sch localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6

2：设置SSH免密码登录
[root@sch ~]# ssh-keygen -t rsa
[root@sch .ssh]# cp id_rsa.pub authorized_keys ：
生成授权文件后，配置完成
测试：
[root@sch .ssh]# ssh sch
第一次需要选择yes，第二次不再需要，则表示配置成功

3：配置Hadoop伪分布式
上传hadoop压缩包到路径：/u02/hadoop/hadoop-1.1.2.tar.gz，并解压
[root@sch .ssh]# cd /u02/hadoop/
[root@sch hadoop]# tar -zxvf hadoop-1.1.2.tar.gz
[root@sch hadoop]# ls
hadoop-1.1.2  hadoop-1.1.2.tar.gz

1）修改环境变量，添加hadoop信息
[root@sch hadoop]# vi /etc/profile
export HADOOP_HOME=/u02/hadoop/hadoop-1.1.2
export JAVA_HOME=/usr/java/default
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$HOME/bin:$PATH
export JAVA_TOOLS=$JAVA_HOME/lib/tools.jar

2）修改hadoop配置文件，位于$HADOOP_HOME/conf
指定JDK路径
[root@sch conf]# vi hadoop-env.sh 
export JAVA_HOME=/usr/java/jdk1.6.0_23

修改hadoop核心配置文件
[root@sch conf]# vi core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
<description>hadoop tmp</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://sch:9000</value>
<description>hadoop运行临时文件主目录</description>
</property>
</configuration>

修改hdfs配置文件
[root@sch conf]# vi hdfs-site.xml 
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>存储副本数</description>
</property>
</configuration>

修改MapReduce配置文件                  
[root@sch conf]# vi mapred-site.xml 
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>sch:9001</value>
<description>jobTracker的访问路径</description>
</property>
</configuration>                

3）运行hadoop服务
格式化hdfs文件系统
[root@sch bin]# pwd
/u02/hadoop/hadoop-1.1.2/bin
root@sch bin]# hadoop namenode -format
注意：只是第一次启动时需格式化，如果重新格式化，可先把$HADOOP_HOME/tmp目录下的文件删掉

启动
[root@sch bin]# pwd
/u02/hadoop/hadoop-1.1.2/bin
[root@sch bin]# ./start-all.sh 
[root@sch bin]# jps
5299 DataNode
5657 TaskTracker
5181 NameNode
16807 Jps
5533 JobTracker
5441 SecondaryNameNode

启动成功
http://sch:50070/dfshealth.jsp
http://sch:50030/jobtracker.jsp