博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop伪分布式搭建CentOS
阅读量:7038 次
发布时间:2019-06-28

本文共 2969 字,大约阅读时间需要 9 分钟。

所需软件及版本:jdk-7u80-linux-x64.tar.gzhadoop-2.6.0.tar.gz1.安装JDK    Hadoop 在需在JDK下运行,注意JDK最好使用Oracle的否则可能出bug2.创建用户    [root@MyDB01 ~]# groupadd hadoop    [root@MyDB01 ~]# useradd -g hadoop hadoop    [root@MyDB01 ~]# passwd hadoop 3.配置SSH    确认SSH的客户端和服务端已安装    [hadoop@MyDB01 ~]$ rpm -qa|grep ssh    libssh2-1.4.2-1.el6.x86_64    openssh-clients-5.3p1-94.el6.x86_64    openssh-server-5.3p1-94.el6.x86_64    openssh-5.3p1-94.el6.x86_64    [hadoop@MyDB01 ~]$     配置SSH免密码登陆    [hadoop@MyDB01 ~]$ mkdir ~/.ssh    [hadoop@MyDB01 ~]$ cd ~/.ssh/                            # 若没有该目录,请先执行一次ssh localhost      [hadoop@MyDB01 .ssh]$ ssh-keygen -t dsa                  # 会有提示,都按回车就可以      [hadoop@MyDB01 .ssh]$ cat id_dsa.pub >> authorized_keys  # 加入授权      [hadoop@MyDB01 .ssh]$ chmod 600 ./authorized_keys        # 修改文件权限,如果不改,无法通过,原因好像是cent os的权限验证比较严格    [hadoop@MyDB01 .ssh]$ssh MyDB01                          # 测试4.安装hadoop    下载    [hadoop@MyDB01 ~]$ wget  http://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/hadoop-2.6.0.tar.gz        解压    [root@MyDB01 hadoop]#tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local    修改权限    [root@MyDB01 local]# mv hadoop-2.6.0/ hadoop/          #更改文件夹名称      [root@MyDB01 local]# chown -R hadoop:hadoop ./hadoop   #修改权限    修改环境变量    [hadoop@MyDB01 ~]$ vi .bash_profile    export HADOOP_HOME=/usr/local/hadoop      export HADOOP_INSTALL=$HADOOP_HOME      export HADOOP_MAPRED_HOME=$HADOOP_HOME      export HADOOP_COMMON_HOME=$HADOOP_HOME      export HADOOP_HDFS_HOME=$HADOOP_HOME      export YARN_HOME=$HADOOP_HOME      export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native      export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin      export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.111.x86_64     export PATH=$JAVA_HOME/bin:$PATH      export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  5.配置伪分布式文件(5个)         #手动创建根目录/hadoop  属主:hadoop    第一个:hadoop-env.sh    #在27行修改    export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_80/      第二个:core-site.xml    
fs.defaultFS
hdfs://MyDB01:9000
hadoop.tmp.dir
/hadoop/tmp
第三个:hdfs-site.xml
dfs.replication
1
第四个:mapred-site.xml.template 需要重命名: cp mapred-site.xml.template mapred-site.xml
mapreduce.framework.name
yarn
第五个:yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
6.对文件系统HDFS格式化操作 hadoop namenode -format

 

转载地址:http://uanal.baihongyu.com/

你可能感兴趣的文章
C++ builder 中的 XMLDocument 类详解(15) – Firstnode 和Lastnode
查看>>
api1
查看>>
属性方式来调用指令
查看>>
C#读写锁ReaderWriterLockSlim的使用
查看>>
xenserver introduce “Local Storage”
查看>>
Windows Server 2008 R2 之三十一部署DHCP群集
查看>>
linux普通用户home目录锁定
查看>>
实验2虚拟局域网(VLAN)配置
查看>>
Lync Server 2010 安装部署系列三:添加DNS记录
查看>>
centos5.5vsftpd安装总结
查看>>
C#中类的继承问题02
查看>>
MySQL基本操作
查看>>
为virtualbox 建立桥接网络
查看>>
通过组策略设置---允许普通用户能够关闭服务器
查看>>
Word 2003高级技巧之可爱的锚标记
查看>>
Phabricator 配置ssh访问代码仓库
查看>>
AWStats: Apache/IIS的日志分析工具
查看>>
Freebsd系统升级
查看>>
QuickPart : 用户控件包装器 for SharePoint Server 2007
查看>>
使用DPM2007备份还原Exchange2007邮箱数据库
查看>>