博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop的namenode和secondnamenode分开部署在不同服务器
阅读量:4138 次
发布时间:2019-05-25

本文共 2018 字,大约阅读时间需要 6 分钟。

一、系统环境: 

 0.20.2、JDK 1.6、Linux操作系统

二、使用背景 

网上关于hadoop的集群配置,很多情况下,都是把namenode和secondnamenode部署在同一服务器上。为了降低风险,一个大的集群环境,最好是把这两个配置到不同的服务器上。

三、操作 

要达到这要求,需要对conf/master、conf/hdfs-site.xml和conf/core-site.xml这三个配置文件进行设置。

1、conf/master文件: 

hadoop的官网和大多网上的安装手册,都要求此文件配置namenode机器的IP或是名称。www.linuxidc.com 其实,master文件不决定哪个是namenode,而决定的是secondarynamenode(决定谁是namenode的关键配置是core-site.xml中的fs.default.name这个参数)。所以,这里直接写上作为secondnamenode的IP或机器名称(可以是集群中任一个datanode节点)就可以了。一行一个(可以配置多个secondnamenode)。

2、hdfs-site.xml:这个配置文件要改1个参数: 

<property> 
  <name>dfs.http.address</name> 
  <value>hostIP:50070</value> 
  <description> 
    The address and the base port where the dfs namenode web ui will listen on. 
    If the port is 0 then the server will start on a free port. 
  </description> 
</property>

3、core-site.xml:这里有2个参数可配置,但一般来说我们不做修改。 

fs.checkpoint.period表示多长时间记录一次hdfs的镜像。www.linuxidc.com 默认是1小时。fs.checkpoint.size表示一次记录多大的size,默认64M。

<property> 

  <name>fs.checkpoint.period</name> 
  <value>3600</value> 
  <description>The number of seconds between two periodic checkpoints. 
  </description> 
</property>

<property> 

  <name>fs.checkpoint.size</name> 
  <value>67108864</value> 
  <description>The size of the current edit log (in bytes) that triggers 
       a periodic checkpoint even if the fs.checkpoint.period hasn't expired. 
  </description> 
</property>

四、检查结果 

配置完成之后,我们需要检查一下是否成功。 
1、在运行secondarynamenode的机器上,运行命令jps查看是否存在secondarynamenode进程。如不存在则表示secondarynamenode的启动有异常。 
2、如果存在,在查看对应的目录下是否有备份记录。有以下目录结构表示设置成功。 
进入hdfs-site.xml文件中配置的fs.checkpoint.dir目录,运行以下命令: 
-bash-3.2$ ll namesecondary/ 
drwxr-xr-x 2 analyzer analyzer 4096 11-03 17:28 current 
drwxr-xr-x 2 analyzer analyzer 4096 09-10 01:20 image 
-rw-r--r-- 1 analyzer analyzer    0 11-03 16:22 in_use.lock 
drwxr-xr-x 2 analyzer analyzer 4096 11-03 16:28 previous.checkpoint

-bash-3.2$ ll namesecondary/current/ 

-rw-r--r-- 1 analyzer analyzer      4 11-03 17:28 edits 
-rw-r--r-- 1 analyzer analyzer 602092 11-03 17:28 fsimage 
-rw-r--r-- 1 analyzer analyzer      8 11-03 17:28 fstime 
-rw-r--r-- 1 analyzer analyzer    101 11-03 17:28 VERSION

转载地址:http://ywlvi.baihongyu.com/

你可能感兴趣的文章
JavaScript substring() 方法
查看>>
HTML 5 新的表单元素 datalist keygen output
查看>>
(转载)正确理解cookie和session机制原理
查看>>
jQuery ajax - ajax() 方法
查看>>
将有序数组转换为平衡二叉搜索树
查看>>
最长递增子序列
查看>>
从一列数中筛除尽可能少的数,使得从左往右看这些数是从小到大再从大到小...
查看>>
判断一个整数是否是回文数
查看>>
经典shell面试题整理
查看>>
腾讯的一道面试题—不用除法求数字乘积
查看>>
素数算法
查看>>
java多线程环境单例模式实现详解
查看>>
将一个数插入到有序的数列中,插入后的数列仍然有序
查看>>
在有序的数列中查找某数,若该数在此数列中,则输出它所在的位置,否则输出no found
查看>>
万年历
查看>>
作为码农你希望面试官当场指出你错误么?有面试官这样遭到投诉!
查看>>
好多程序员都认为写ppt是很虚的技能,可事实真的是这样么?
查看>>
如果按照代码行数发薪水会怎样?码农:我能刷到公司破产!
查看>>
程序员失误造成服务停用3小时,只得到半月辞退补偿,发帖喊冤
查看>>
码农:很多人称我“技术”,感觉这是不尊重!纠正无果后果断辞职
查看>>