当前位置 主页 > 服务器问题 > Linux/apache问题 >

    linux下搭建hadoop环境步骤分享

    栏目:Linux/apache问题 时间:2019-03-20 13:50

    linux下搭建hadoop环境步骤,需要的朋友可以参考下

    1、下载hadoop包
    wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz
    2、tar xvzf hadoop-0.20.2.tar.gz
    3、安装JDK,从oracle网站上直接下载JDK,地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html
    4、chmod +x jdk-6u21-linux-i586.bin;./jdk-6u21-linux-i586.bin,当前目录下出现了jdk1.6.0_21目录
    5、配置java环境变量 vi /etc/profile
    复制代码 代码如下:
    export JAVA_HOME=/root/src/hadoop/jdk1.6.0_21
    export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
    export PATH=$PATH:$JAVA_HOME/bin

    在终端下执行 source /etc/profile 使配置生效

    6、可以用以下命令查看
    显示JAVA版本 java -vesion
    复制代码 代码如下:
    echo $JAVA_HOME
    which java
    echo $PATH
    echo $CLASSPATH

    如果java -version没有显示你的JDK的版本,请检查你的path的设置。

    7、配置hadoop环境变量 vi /etc/profile
    复制代码 代码如下:
    export HADOOP_INSTALL=/root/src/hadoop/hadoop-0.20.2
    export PATH=$PATH:$HADOOP_INSTALL/bin

    source /etc/profile 使配置生效

    8、测试环境
    hadoop version 显示
    Hadoop 0.20.2
    Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707
    Compiled by chrisdo on Fri Feb 19 08:07:34 UTC 2010

    9、配置
    hadoop每一个组件都使用一个XML文件配置,核心属性在core-site.xml中,HDFS属性在hdfs-site.xml中,MapReduce属性在mapred-site.xml中。这些文件都在conf子目录下。
    hadoop有本地模式、伪分布模式和完全分布模式三种,默认配置为本地模式,没有守护进程,一切都运行在单个JVM上。