NameNode主从切换sshfence阶段无法完成问题

NameNode采用HA架构部署，在Standby切换为Active的过程中存在一个fence阶段，如果该阶段不返回true，则无法继续往下进行，即无法完成failover。
nn-ha-arch

该行为由dfs.ha.fencing.methods决定，默认为sshfence。

1
2
3
4
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>

但是这样配置存在问题，当Active宕机，ssh无法完成，sshfence阶段实际上会循环重试，始终无法完成failover。

由于没有直接关于fence retry次数的参数配置，采取如下变通方案：配置4个fence method，3次sshfence，1次shell(/bin/true)，可以保证在3次sshfence失败之后结束fence阶段，完成failover。
sshfence

展开全文 >>

Iptables vs Firewalld

Iptables介绍

iptables只是用户空间的防火墙管理工具，准确的说linux防火墙指的是netfilter/iptables这个组合。
netfilter 组件也称为内核空间（kernelspace），是内核的一部分，由一些数据包过滤表组成，这些表包含内核用来控制数据包过滤处理的规则集。iptables组件是一种工具，也称为用户空间（userspace），它使插入、修改和删除数据包过滤表中的规则变得容易。

Netfilter是Linux操作系统核心层内部的一个数据包处理模块，它具有如下功能：

  • 网络地址转换(Network Address Translate)
  • 数据包内容修改
  • 以及数据包过滤的防火墙功能

Netfilter平台中制定了数据包的五个挂载点（Hook Point，我们可以理解为回调函数点，数据包到达这些位置的时候会主动调用我们的函数，使我们有机会能在数据包路由的时候改变它们的方向、内容），这5个挂载点分别是PRE_ROUTING、INPUT、OUTPUT、FORWARD、POST_ROUTING。

Netfilter所设置的规则是存放在内核内存中的，而iptables是一个应用层的应用程序，它通过Netfilter放出的接口来对存放在内核内存中的XXtables（Netfilter的配置表）进行修改。

netfilter在内核空间的代码根据table中的rules，完成对packet的分析和处置。但是这些table中的具体的防火墙rules，还是必须由系统管理员亲自编写。kernel中的netfilter只是提供了一个机制，它并不知道该怎样利用这个机制，写出合适的rules，来实现一个网络防火墙。那么，系统管理员编写的rules，怎样进入位于kernel空间中的netfilter维护的table中去呢？
这个任务是由iptables这个工具来完成的。它经过getsockopt()以及setsockopt()两个系统调用，进入kernel空间。这两个调用是BSD Socket接口的一部分。这里面的问题是IPv4在接到关于某个sock的不认识的opt的时候，应该怎么处理？netfilter要求它在linux-2.4.19/net/ipv4/ip_sockglue.c文件中处理getsockopt()和setsockopt()系统调用的ip_sockopt()函数中适当的地方调用nf_sockopt()。这样，用户空间就可以和netfilter核心部分进行交流，可以维护table中的防火墙rules了。
netfilter对于IPv4的修改非常小，一是在若干个地方调用了NF_HOOK()，二是在ip_sockopt()中调用了nf_sockopt()。

Firewalld 介绍

firewalld提供了支持网络/防火墙区域(zone)定义网络链接以及接口安全等级的动态防火墙管理工具。它支持IPv4,IPv6防火墙设置以及以太网桥接，并且拥有运行时配置和永久配置选项。它也支持允许服务或者应用程序直接添加防火墙规则的接口。
什么是区域？
区域（zone）是防火墙产品所引入的一个安全概念，它定义了网络连接的可信等级。这是一个一对多的关系，这意味着一次连接可以仅仅是一个区域的一部分，而一个区域可以用于很多连接。
区别于iptables面向数据包的访问控制方式，区域通过定义面向服务的访问策略来形成信任级别的概念，一般与网络接口关联。
哪个区域可用?
由firewalld提供的区域按照从不信任到信任的顺序排序。

  • 丢弃
    任何流入网络的包都被丢弃，不作出任何响应。只允许流出的网络连接。
  • 阻塞
    任何进入的网络连接都被拒绝，并返回IPv4的icmp-host-prohibited报文或者IPv6的icmp6-adm-prohibited报文。只允许由该系统初始化的网络连接。
  • 公开
    用以可以公开的部分。你认为网络中其他的计算机不可信并且可能伤害你的计算机。只允许选中的连接接入。（You do not trust the other computers on networks to not harm your computer. Only selected incoming connections are accepted.）
  • 外部
    用在路由器等启用伪装的外部网络。你认为网络中其他的计算机不可信并且可能伤害你的计算机。只允许选中的连接接入。
  • 隔离区（dmz）
    用以允许隔离区（dmz）中的电脑有限地被外界网络访问。只接受被选中的连接。
  • 工作
    用在工作网络。你信任网络中的大多数计算机不会影响你的计算机。只接受被选中的连接。
  • 家庭
    用在家庭网络。你信任网络中的大多数计算机不会影响你的计算机。只接受被选中的连接。
  • 内部
    用在内部网络。你信任网络中的大多数计算机不会影响你的计算机。只接受被选中的连接。
  • 受信任的
    允许所有网络连接。
    为什么是动态防火墙？
    以前的iptables防火墙是静态的，每次修改都要求防火墙完全重启。这个过程包括内核netfilter防火墙模块的卸载和新配置所需模块的装载等。而模块的卸载将会破坏状态防火墙和确立的连接。现在firewalld可以动态管理防火墙。

firewalld的配置方式：firewall-config、firewall-cmd、编辑XML
重要参数：
–permanent只修改配置文件，不立即生效。在reload（不会破坏当前状态）、restart后生效。如果不加此参数，则立即生效，但是不会持久化。
所以配置的推荐流程是：带–permanent参数执行一次，然后不带–permanent参数执行
–direct直接操作原生的iptables

Iptables VS Firewalld

示例：

1
2
3
4
# Iptables
-A INPUT -s 10.14.40.157 -p tcp -m multiport --dports  1986  -j ACCEPT
-A INPUT -s 10.15.40.157 -p tcp -m multiport --dports  1986  -j ACCEPT
-A INPUT -p tcp --dport 1986 -j DROP

1
2
3
4
5
6
# Firewalld
firewall-cmd --permanent --add-rich-rule 'rule family=ipv4 source address=10.14.40.157 port port=1986 protocol=tcp accept'
firewall-cmd --add-rich-rule 'rule family=ipv4 source address=10.14.40.157 port port=1986 protocol=tcp accept'
firewall-cmd --permanent --add-rich-rule 'rule family=ipv4 source address=10.15.40.157 port port=1986 protocol=tcp accept'
firewall-cmd --add-rich-rule 'rule family=ipv4 source address=10.15.40.157 port port=1986 protocol=tcp accept'
# 可以使用--direct配置多个端口的accept
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
# cat zones/public.xml
<?xml version="1.0" encoding="utf-8"?>
<zone>
  <short>Public</short>
  <description>For use in public areas. You do not trust the other computers on networks to not harm your computer. Only selected incoming connections are accepted.</description>
  <service name="dhcpv6-client"/>
  <service name="ssh"/>
  <rule family="ipv4">
    <source address="10.14.40.157"/>
    <port protocol="tcp" port="1986"/>
    <accept/>
  </rule>
  <rule family="ipv4">
    <source address="10.15.40.157"/>
    <port protocol="tcp" port="1986"/>
    <accept/>
  </rule>
</zone>

# cat services/snmp.xml
<?xml version="1.0" encoding="utf-8"?>
<service>
  <short>SNMP</short>
  <description>SNMP.</description>
  <port protocol="udp" port="161"/>
</service>
firewall-cmd -reload
firewall-cmd --add-service=snmp
firewall-cmd --add-port=161/udp

支持一个服务对应多个port

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
<?xml version="1.0" encoding="utf-8"?>
<service>
  <short>Mail (SMTP)</short>
  <description>This option allows incoming SMTP mail delivery. If you need to allow remote hosts to connect directly to your machine to deliver mail, enable this option. You $
  <port protocol="tcp" port="465"/>
  <!-- is adding a second port here legal and the best approach? -->
  <port protocol="tcp" port="25"/>
</service>

# cat zones/public.xml
<?xml version="1.0" encoding="utf-8"?>
<zone>
  <short>Public</short>
  <description>For use in public areas. You do not trust the other computers on networks to not harm your computer. Only selected incoming connections are accepted.</description>
  <service name="dhcpv6-client"/>
  <service name="snmp"/>
  <service name="ssh"/>
  <rule family="ipv4">
    <source address="10.14.40.157"/>
    <port protocol="tcp" port="1986"/>
    <accept/>
  </rule>
  <rule family="ipv4">
    <source address="10.15.40.157"/>
    <port protocol="tcp" port="1986"/>
    <accept/>
  </rule>
</zone>

firewall-cmd --zone=trusted --add-interface=eth1

Iptables Firewalld
配置文件格式 自定义 XML
应用接口 无 D-BUS
重启的影响 清空重新加载 不影响当前状态（reload）
灵活性 更灵活 一般
性能 - -

结论：
Iptables比较符合运维操作习惯，firewalld并未提供更方便的配置方式；
重启对当前状态的影响不是痛点；
zone的引入没有太多收益，且有一定的学习成本；

WHY FIREWALLD?

  1. 对于新手而言，firewalld未必不如iptables；
  2. 更高层次的抽象，屏蔽底层可能的变动；

常用命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
To stop firewalld, enter the following command as root:
~]# systemctl stop firewalld

To prevent firewalld from starting automatically at system start, issue the following command as root:
~]# systemctl disable firewalld

To start firewalld, enter the following command as root:
~]# systemctl start firewalld

To ensure firewalld starts automatically at system start, enter the following command as root:
~]# systemctl enable firewalld

To check if firewalld is running, enter the following command:
~]$ systemctl status firewalld

In addition, check if firewall-cmd can connect to the daemon by entering the following command:
~]$ firewall-cmd --state

To view the list of active zones, with a list of the interfaces currently assigned to them, enter the following command:
~]$ firewall-cmd --get-active-zones

To find out the zone that an interface, for example em1, is currently assigned to, enter the following command:
~]$ firewall-cmd --get-zone-of-interface=em1

To find out all the interfaces assigned to a zone, for example the public zone, enter the following command as root:
~]# firewall-cmd --zone=public --list-interfaces

To find out all the settings of a zone, for example the public zone, enter the following command as root:
~]# firewall-cmd --zone=public --list-all

To view the list of services currently loaded, enter the following command as root:
~]# firewall-cmd --get-services

If custom services have been created but not loaded, they can be listed as follows:
~]# firewall-cmd --permanent --get-services

To start dropping all incoming and outgoing packets, enter the following command as root:
~]# firewall-cmd --panic-on

To start passing incoming and outgoing packets again, enter the following command as root:
~]# firewall-cmd --panic-off

 To find out if panic mode is enabled or disabled, enter the following command:
~]$ firewall-cmd --query-panic

 To reload the firewall without interrupting user connections (without losing state information), enter the following command as root:
~]# firewall-cmd --reload

 To reload the firewall and interrupt user connections, discarding state information, enter the following command as root:
~]# firewall-cmd --complete-reload

 To add an interface to a zone (for example, to add em1 to the public zone), enter the following command as root:
~]# firewall-cmd --zone=public --add-interface=em1

 To get the default zone (to public, for example), enter the following command as root:
~]# firewall-cmd --get-default-zone

 To set the default zone (to public, for example), enter the following command as root:
~]# firewall-cmd --set-default-zone=public

 To list all open ports for a zone (dmz, for example), enter the following command as root:
~]# firewall-cmd --zone=dmz --list-ports

 To add a port to a zone (for example, to allow TCP traffic to port 8080 to the dmz zone), enter the following command as root:
~]# firewall-cmd --zone=dmz --add-port=8080/tcp

 To add a range of ports to a zone (for example, to allow the ports from 5060 to 5061 to the public zone, enter the following command as root:
~]# firewall-cmd --zone=public --add-port=5060-5061/udp

 To add a service to a zone (for example, to allow SMTP to the work zone), enter the following command as root:
~]# firewall-cmd --zone=work --add-service=smtp

 To remove a service from a zone (for example, to remove SMTP from the work zone), enter the following command as root:
~]# firewall-cmd --zone=work --remove-service=smtp

 To add a custom rule to the “IN_public_allow” chain, issue the following command as root:
~]# firewall-cmd --direct --add-rule ipv4 filter IN_public_allow 0 -m tcp -p tcp --dport 666 -j ACCEPT

 To remove a custom rule from the “IN_public_allow” chain, issue the following command as root:
~]# firewall-cmd --direct --remove-rule ipv4 filter IN_public_allow 0 -m tcp -p tcp --dport 666 -j ACCEPT

 To list the rules in the “IN_public_allow” chain, issue the following command as root:
~]# firewall-cmd --direct --get-rules ipv4 filter IN_public_allow

参考资料

https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/7/html/Security_Guide/sec-Using_Firewalls.html#sec-Introduction_to_firewalld1
https://fedoraproject.org/wiki/FirewallD/zh-cn#.E4.BB.8E_ip.2Atables_.E5.92.8C_ebtables_.E6.9C.8D.E5.8A.A1.E8.BF.81.E7.A7.BB
http://www.ibm.com/developerworks/cn/linux/1507_caojh/

展开全文 >>

Hadoop备份与恢复方案介绍

Namenode

备份策略：
周期性备份namenode、standby namenode的dfs.namenode.name.dir
因为主从切换可能导致edits log分散在两台机器上，需要两台机器共同提供完整的edits log
恢复步骤：

  1. 删除journalnode数据文件，启动服务（所有jn均执行）
  2. 登陆namenode
  3. 下载最新的备份文件
  4. 解压，移至dfs.namenode.name.dir
  5. 执行hdfs namenode –initializeSharedEdits（hdfs namenode -initializeSharedEdits will initialize the shared edits directory with the edits data from the local NameNode edits directories）
  6. 启动zkfc
  7. 启动namenode
  8. 登陆standby namenode
  9. 执行hdfs namenode -bootstrapStandby（The bootstrapStandby command will download the most recent fsimage from the active NameNode into the $dfs.name.dir directory of the standby NameNode.）
  10. 启动zkfc
  11. 启动namenode

适用场景：
namenode、standby namenode全部故障
如果只是一台namenode故障，可以清空name文件夹，执行hdfs namenode -bootstrapStandby

Journalnode

备份策略：
无
恢复方法：
从正常的jn节点拷贝数据，启动，即可。
无需停止正常节点再拷贝，直接拷贝即可。这样拷贝会有部分缺失数据，故障节点启动后，不会补齐这些缺失数据，但不影响新数据的写入。对于缺失的edits，只要有一台机器上有，namenode就可以启动。
适用场景：
单个节点故障

Zookeeper

备份策略：
周期性备份
< dataDir >/version-2/acceptedEpoch
< dataDir >/version-2/currentEpoch
< dataDir >/version-2/snapshot.
< dataLogDir >/version-2/log.
其中snapshot、log备份最近的几份就行
恢复步骤：

  1. 登陆一台zookeeper服务器
  2. 下载最新的备份文件
  3. 解压，将data、datalog移至< dataDir >，并创建data/myid文件（与配置文件一致）
  4. 启动服务
  5. 其余节点配置data/myid文件，启动即可

试用场景：
部分或全部数据丢失
如果只是单个节点故障，清空故障节点的data、datalog文件夹，启动后会自动从正常节点复制数据，无需人工恢复

Kerberos

方案一

备份策略：
周期性备份/var/kerberos/krb5kdc
恢复步骤：

  1. 陆kerberos服务器
  2. 下载最新的备份文件
  3. 解压，将krb5kdc移至/var/kerberos/

适用场景：
部分或全部数据丢失

方案二

备份策略：
周期性导出kdb5_util dump kerberos.kdump
恢复步骤：

  1. 登陆kerberos服务器
  2. 下载最新的备份文件
  3. 解压，执行kdb5_util load -update kerberos.kdump

适用场景：
部分数据丢失

展开全文 >>

本站总访问量66866次 | 本站访客数51861人
Fork me on GitHub