xml地图|网站地图|网站标签 [设为首页] [加入收藏]

热门直播

当前位置:美高梅游戏网站 > 热门直播 > Hadoop 安装步骤(Linux 伪分布模式)

Hadoop 安装步骤(Linux 伪分布模式)

来源:http://www.gd-chuangmei.com 作者:美高梅游戏网站 时间:2019-09-10 23:27

Linux下安装Hadoop(伪分布形式)

1.停歇防火墙

1.1.Terminal : setup

图片 1

14640959177050.jpg

1.2.选项防火墙设置,关闭防火墙(空格键选择, Tab 键移动)

图片 2

14640959604181.jpg

1.3.测量检验防火墙是或不是关闭
Terminal : service iptables status
只要回去Firewall is not running.表示成功

 

2.修改 hosts

2.1.Terminal: gedit /etc/hosts
2.2.添加<ip> <主机名>

写在近年来:在Linux下安装Hadoop时,应注意权限难题,将hadoop的权限赋给非root顾客。

3.安装 ssh 自动登陆

3.1.Terminal: gedit /etc/selinux/config
3.2.设置SELINUX=disabled
3.3.Terminal: ssh-keygen -t dsa
3.4.设置签到密码为空(数十次回车确认就可以)
3.5.Terminal:

    cd ~/.ssh
    cat id_dsa.pub >>authorized_keys

3.6.重启
3.7.验证
Terminal:ssh localhost
万一不供给输入密码即为成功(第二次进行可能要输入 yes确定连接)

正文中未涉嫌什么在Linux下创建新客户。

4.安装 jdk

4.1.下载 jdk( 注意不是 jre)(测量检验成功版本1.6.0_24)
4.2.万一选择设想机,能够透过复制粘贴将安装包传到 Linux 中
4.3.修改权限
Terminal:chmod 777 jdk-6u24-linux-i586.bin
4.4.解压
Terminal:

    mv jdk-6u24-linux-i586.bin /usr/local/
    cd /usr/local/
    ./jdk-6u24-linux-i586.bin

4.5.改名

    mv jdk1.6.0_24 jdk

4.6.配备境况变量
Terminal:gedit /etc/profile

4.7.添加:

export JAVA_HOME=/usr/local/jdk
export PATH=$PATH:$JAVA_HOME/bin

4.8.脚本生效
Terminal:soure /etc/profile
4.9.测试
Terminal:java -version

 

5.安装 hadoop

4.1.下载 hadoop(测试成功版本 1.1.2)
4.2.假诺运用虚构机,能够通过复制粘贴将设置包传到 Linux 中
4.3.改换权限chmod 777 hadoop-1.1.2.tar.gz
4.4.移动mv hadoop-1.1.2.tar.gz /usr/local
4.5.解压,天公地道命名字为 hadoop(方便使用)

tar -xvf hadoop-1.1.2.tar.gz
mv hadoop-1.1.2 hadoop

4.6.布置境遇变量gedit /etc/profile
添加:

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

剧本生效
Terminal:soure /etc/profile

4.7.修改 hadoop 配置文件
cd /usr/local/hadoop/conf
分级在以下文件中增添内容
4.7.1.hadoop-env.sh
export JAVA_HOME=/usr/local/jdk/

4.7.2.core-site.xml

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop0:9000</value>
        <description>change your own hostname</description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>  
</configuration>

4.7.3.hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

4.7.4.mapred-site.xml

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>hadoop0:9001</value>
        <description>change your own hostname</description>
    </property>
</configuration>

4.8.启动 hadoop
启动:

hadoop namenode -format
start-all.sh 

验证:jps

如果JobTracker`DataNodeTaskTrackerSecondaryNameNodeNameNode` 八个零件均运行,则表明成功.

注:假如缺少组件,一般为权力难题,把 hadoop 文件夹里的 temptmp 清空,权限设置为777再重复起动 hadoop 试试.

第一步,安装JDK

  1. 下载 java.sun.com

  2. 解压tar.gz的文件

tar -xzvf jdk-7u17-linux-x64.tar.gz

  1. 把解压出来的文件夹移动到/usr/local/jdk-1.7目录

mv /usr/local/src/jdk1.7.0_17 /usr/local/jdk-1.7

  1. 修改profile

vi /etc/profile

在最后追加

export JAVA_HOME=/usr/local/jdk1.7.0_17

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

export PATH=$PATH:$JAVA_HOME/bin

  1. 使情况变量生效

source /etc/profile

  1. 查看当前jdk

update-alternatives --display java

  1. 配备暗许jdk

update-alternatives --install /usr/bin/java java /usr/local/jdk1.7.0_17/bin/java 300

update-alternatives --install /usr/bin/javac javac /usr/local/jdk1.7.0_17/bin/javac 300

update-alternatives --install /usr/bin/javap javap /usr/local/jdk1.7.0_17/bin/javap 300

update-alternatives --install /usr/bin/javadoc javadoc /usr/local/jdk1.7.0_17/bin/javadoc 300

 

update-alternatives --config java

只要系统中装置了其余jdk,会唤起,采取jdk7

  1. 测试

java -version

第二步,安装SSHD服务

ubuntu安装sshd命令:sudo apt-get install openssh-server

ubuntu删除sshd命令:sudo apt-get remove openssh-server

其三步,配置无密登陆

(应该非root客商下进行)

ssh-keygen

cd ~/.ssh

mv id_rsa.pub id_rsa_hadoop.pub

touch authorized_keys

cat id_rsa_hadoop.pub >> authorized_keys

第四步,下载Hadoop并解压

解压:tar -zxvf hadoop-1.0.3.tar.gz

移动:mv hadoop-1.0.3 /usr/local/hadoop

更改文件夹chown -哈弗 hadoop.hadoop hadoop

开创目录:mkdir /data /data/hadoop

改造文件夹chown -揽胜极光 hadoop.hadoop /data/hadoop

第五步,配置Hadoop

配置 conf/hadoop-env.sh 

export JAVA_HOME=/usr/local/jdk-1.7

export HADOOP_LOG_DIR=/data/hadoop/logs

export HADOOP_PID_DIR=/data/hadoop/pids

修改/etc/profile

添加:export HADOOP_PID_DIR=/data/hadoop/pids

配置 core-site.xml

 

     fs.default.name 

    

   

     hdfs://master:8020 

   

     hadoop.tmp.dir 

    

   

     /data/hadoop/tmp 

 

配置 hdfs-site.xml 

 

本文由美高梅游戏网站发布于热门直播,转载请注明出处: Hadoop 安装步骤(Linux 伪分布模式)

关键词:

上一篇:ubuntu中vi出现的常见问题

下一篇:没有了