`
yeelor
  • 浏览: 407641 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Hadoop集群的安装与布署

 
阅读更多

 

新安装的ubuntu server系统的root没有设置密码,首先修改密码

sudo passwd root

centos 在安装时已经设置了root的密码

 

修改主机名(centos)

vim  /etc/sysconfig/network

或是

vi /etc/hostname

 

配制一个固定的IP

vim  /etc/sysconfig/network-scripts/ifcfg-eth0

如果slave是虚拟主,上述文件可能不存在或者不完全,那先从master里复制一个模版

但如果是物理机里话不要用别的机器的模版,因为除了IP还有物理地址是不同的

service network restart

 

修改master的/etc/hosts。增加该项记录

 

增加一个用户hadoop

useradd hadoop

 

修改用户密码

passwd hadoop

 

将用户hadoop 增加到root组

usermod -a -G root hadoop    

 

用logout或者exit注销,再用root登录

删除原来的用户及其目录

userdel -r rootroot

 

安装vim编辑器

apt-get install vim

yum install vim

xx is not in the sudoers file

#chmod u+w /etc/sudoers   修改文件权限即添加文件拥有这的写权限

ls -al /etc/sudoers 可以查看原文件的权限。    
三、vim /etc/sudoers 编辑文件,按下”i“键进入编辑模式,

在root ALL=(ALL:ALL)ALL行下添加XXX (ALL:ALL)ALL,XXX为你的用户名。

编辑好后esc键进入一般模式,“:x"保存退出!

chmod u-w /etc/sudoers

 

安装ssh  (25个有用的SSH命令)

yum install ssh

或者
apt-get install ssh

service sshd start    (不然可能会报connect refused错)

设置sshd服务自动启动项:

方法A     setup进入图形终端,System services里选中

方法B    使用如下命令: chkconfig --level 3 sshd on   //如果是图形模式,可能是5

chkconfig --list | grep sshd 会显示:

sshd 0:off 1:off 2:off 3:on 4:off 5:on 6:off

 

关闭或者配置防火墙

setup 命令进入字符界面配置,重启生效

具体操作:将Firewall configuration里关掉(用空格键取消 * 即可),然后在System services 里将iptables 取消开机启动

service iptables stop  关闭服务,立刻生产

chkconfig iptables off   重启生效

 

master可以只打开9000,9001端口,而不用关闭整个防火墙

 

开启 ntpd 同步时间

 

 

 

将在master中生成公私钥

直接用

ssh-keygen -t rsa

或者以下: 

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

将公钥scp到slave1,然后加入slave1的authorized_keys。或者直接执行如下

 

 

复制SSH密钥到目录主机

方法一:

 

ssh-copy-id user@host

 

方法二:scp ~/.ssh/authorized_keys slave1:~/.ssh 

cat ~/.ssh/id_rsa.pub | ssh user@machine "mkdir ~/.ssh; cat >> ~/.ssh/authorized_keys"

 

修改权限才能生效,.ssh权限700,authorized_keys权限600

chmod 700 ~

chmod 700 ~/.ssh/
chmod 600 ~/.ssh/authorized_keys 

 

 

 

 

 

 

安装JDK

 

[root@slave1 ~]  
mkdir  /usr/lib/jvm
mkdir /usr/lib/jvm/jdk
[hadoop@master Downloads]$ sudo scp jdk-6u43-linux-i586.bin  slave1:/usr/lib/jvm/jdk
[root@localhost jdk]# ./jdk-6u43-linux-i586.bin 

 

修改limits.conf和login

vim  /etc/security/limits.conf

 加上

hadoop - nofile 32768
hadoop soft/hard nproc 32000
 vim /etc/pamd.login

加上

session required pam_limits.so

 

 

复制master中几个配置文件到hosts,或者自己修改如下文件

cd /etc

scp profile  hosts   pam.d/login  slave1:/etc

scp  /etc/pam.d/login  slave1:/etc/pam.d

scp  /etc/security/limits.conf  slave1:/etc/security

 

 

执行环境变量

source /etc/profile 

检验java是否安装成功

java 

javac

 

修改master中hadoop和hbase的配制文件。slave的相关相息加入

然后复制hadoop和hbase目录到slave

scp -r hadoop-1.1.2  hbase  slave1:/usr/local/

 

 

创建目录

mkdir  /usr/hadoop

mkdir  /usr/hadoop/tmp

 

修改权限

chown -R  hadoop:hadoop  /usr/hadoop

chown -R hadoop:hadoop  /usr/local/hadoop-1.1.2

chown -R hadoop:hadoop  /usr/local/hbase

 

在master上操作 

如果是初始化hadoop

hadoop namenode -format

hadoop dfsadmin -safemode leave

 

启动hadoop

bin/start-all.sh

停止hadoop

bin/stop-all.sh

查看系统健康状态

hadoop fsck / 

 

重启坏掉的DataNode或TaskTracker/Jobtracker。在坏死的节点上运行

hadoop-daemon.sh start datanode

hadoop-daemon.sh start tasktracker

hadoop-daemon.sh start jobtracker

 

报告HDFS的基本统计信息

hadoop dfsadmin -report

上传文件

hadoop dfs -put  源 目的

下载文件

hadoop dfs -get 源 目的

创建目录

hadoop dfs -mkdir 目录名

查看文件目录

hadoop dfs -ls  /

查看文件内容

hadoop dfs -cat out/*

删除文件及目录

hadoop dfs -rmr out

负载均衡

start-balancer.sh

并行复制

hadoop distcp -help hdfs://namenode1/foo hdfs://namenode2/bar

修改hdfs的权限
hadoop dfs -chmod -R 755 /

修改hdfs文件的所有者

hadoop fs -chown -R hadoop /

拷贝hdfs文件到其它目录

hadoop fs -cp URI [URI …] <dest>

改名

hadoop  dfs -mv  源文件 目的文件

 

增加和删除节点

 

启动hbase

start-hbase.sh

hbase shell

停止hbase

stop-hbase.sh

 

运行hive

hive --service hwi

hive

 

 

可能报的异常:

出现 Warning: $HADOOP_HOME is deprecated.

在当前用户home/.bash_profile里增加一个环境变量:

export HADOOP_HOME_WARN_SUPPRESS=1

重新执行

source .bash_profile  

 

注意事项:

Linux的图形化桌面gnome会占用较多的内存和CPU,如xorg,gnome-screensav 等进程,所以slave尽量不要安装图形桌面。master在不需要图形化桌面时用Ctrl+Alt+F3切换到字符界面。这样可以大大提高主机利用效率。

 

如果你装了多台机器,千万不要用此命令单纯拷贝引导配置文件(禁止执行如下命令:scp grub.conf root@${host}:/etc)。因为每台机器的引导分区的UUID一定是不同的 

 

 Hadoop作业(如调用Hbase)引用第三方 jar 。比如运行Hbase相关的Mapreduce的话

#set hbase environment
export HBASE_HOME=/usr/local/hbase
# add hbase libs to CLASSPATH
for f in $HBASE_HOME/*.jar; do
    HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:$f;
done
for f in $HBASE_HOME/lib/*.jar; do
    HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:$f;
done

hadoop jar FindFriend.jar com.j2cms.hbase.mapreduce.FindFriend

   参考:

    1.hadoop作业引用第三方jar文件     2.hadoop CLASSNAME命令使用注意点

 

 

分享到:
评论

相关推荐

    hadoop集群安装步骤

    hadoop集群安装详细步骤,支持snappy hadoop 集群安装

    Hadoop集群pdf文档

    Hadoop_Hadoop集群(第1期)_CentOS安装配置 Hadoop_Hadoop集群(第2期)_机器信息分布表 Hadoop_Hadoop集群(第4期)_SecureCRT使用 Hadoop_Hadoop集群(第5期)_Hadoop安装配置 Hadoop_Hadoop集群(第5期副刊)_...

    脚本搭建hadoop集群

    自动化安装hadoop集群 脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop(格式为*tar.gz) 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6,...

    Hadoop集群与安全

    手把手教你配置高效的Hadoop集群,充分利用Hadoop平台的优势。2. 为Hadoop生态系统实现强健的端到端的安全保障。

    Hadoop集群安装配置步骤

    Hadoop集群安装配置步骤【51CTO学院大数据工程师微职位】

    RedHat下安装hadoop集群

    在redhat下安装hadoop集群,文件中包括设置静态ip,jdk安装,内含截图,详细指导。

    Hadoop集群安装详细步骤

    Hadoop集群安装详细步骤,Hadoop集群安装详细步骤

    vmware虚拟机下hadoop集群安装过程

    资源名称:vmware虚拟机下hadoop集群安装过程内容简介: Hadoop俗称分布式计算,最早作为一个开源项目,最初只是来源于谷歌的两份白皮书。然而正如十年前的Linux一样,虽然Hadoop最初十分简单,但随着近些年来...

    Hadoop集群程序设计与开发

    《Hadoop集群程序设计与开发(数据科学与大数据技术专业系列规划教材)》系统地介绍了基于Hadoop的大数据处理和系统开发相关技术,包括初识Hadoop、Hadoop基础知识、Hadoop开发环境配置与搭建、Hadoop分布式文件系统、...

    hadoop集群安装笔记

    hadoop集群安装笔记,我个人在自己的本机虚拟3台机器,搭建hadoop的学习环境,在安装过程中,出现这样那样的问题,并记录下来分享给大家,希望都新手有帮助。

    Hadoop集群安装与配置详细步骤

    Hadoop集群安装与配置详细步骤

    部署全分布模式Hadoop集群 实验报告

    部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...

    完全分布式模式的Hadoop集群安装

    Linux操作系统下,使用三台虚拟机搭建Hadoop集群,包括实验环境变量的配置,Hadoop集群的安装及测试详细步骤。

    Hadoop集群安装手册

    本文档详细介绍了在Linux环境下Hadoop集群环境安装的每一步骤。

    Hadoop集群安装

    Hadoop集群安装的详细说明文档, 實作七: Hadoop 叢集安裝 前言 您手邊有兩台電腦,假設剛剛操作的電腦為"主機一" ,另一台則為"主機二" 。則稍後的環境如下 • 管理Data的身份 管理Job的身份 "主機一" namenode ...

    hadoop集群安装配置

    hadoop在centos7.0超详细安装配置信息,自己总结的,绝对可用!

    Hadoop集群程序设计与开发教材最终代码.zip

    Hadoop集群程序设计与开发教材最终代码.zip

    Hadoop集群搭建及Hive的安装与使用

    Hadoop集群搭建及Hive的安装与使用

    hadoop集群安装脚本

    hadoop一键安装脚本,支持安装hadoop集群,zk集群 ha高可用

Global site tag (gtag.js) - Google Analytics