RockMongo管理多个名字相同的副本集问题

1. 缘起

使用RockMongo管理MongoDB集群，发现对于不同的副本集，如果配置了相同的名字，则RockMongo无法正确处理。原因在于RockMongo连接MongoDB使用的mongo-php-driver不支持这种情况。
以下摘自http://php.net/manual/en/mongo.connecting.rs.php

Warning
The driver does not support connecting to different replica sets with the same name. This extends beyond one script so make sure to have separate names for each of your replica sets. That also means that you can not do this:

Example #2 Wrong replica set name duplication

1
2
3
4
<?php
$m = new MongoClient("mongodb://devserver1,devserver2,devserver3/?replicaSet=repset");
$m = new MongoClient("mongodb://prodserver1,prodserver2,prodserver3/?replicaSet=repset");
?>

Instead, you need to have two different names for your replica sets:

Example #3 Correct use of two replica set names

1
2
3
4
<?php
$m = new MongoClient("mongodb://devserver1,devserver2,devserver3/?replicaSet=devset");
$m = new MongoClient("mongodb://prodserver1,prodserver2,prodserver3/?replicaSet=prodset");
?>

2. 解决方法

在阅读了mongo-php-driver的代码后，发现mongo-php-driver使用副本集名称作为哈希键值，保存副本集各节点的信息。所以如果不同的副本集具有相同的名字，则集群信息发生混乱，对代码进行了简单修改，绕过了该问题，详见https://github.com/winway/mongo-php-driver-legacy/tree/v1.6.10.1

展开全文 >>

Nagios部署实践

最近尝试了下Nagios，确实挺灵活，需要监控什么，自己动手写插件就行。什么是Nagios以及Nagios的安装就不再赘述，可以参考这里：

本文就将部署Nagios的主要过程和遇到的问题总结一下。

1. 在被监控机上安装nrpe

批量安装脚本原理：将安装脚本install_nrpe.sh和安装包 scp到被监控机上（需要建立ssh信任）并执行。执行：

1
sh install.sh iplist install_nrpe.sh nrpe-2.15.tar.gz

便会批量在被监控机上安装并运行nrpe，其中iplist每行是一个ip地址。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
[winway@localhost auto_install]$ cat install.sh
#! /bin/bash
#

if [[ "${#@}" -ne 3 ]]
then
    echo "Usage: $0 <iplistfile> <installsh> <tarball>"
    exit
fi

iplistfile="$1"
installsh="$2"
tarball="$3"

DIR="/usr/local/src"

exec 4<>"$iplistfile"

n=0
while read -u 4 ip
do
    echo "${ip}>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>"
    ((n++))
    (
    scp -o ConnectTimeout=3 "$installsh" "${ip}:${DIR}" || { echo "$ip: scp installsh error"; continue; }
    scp -o ConnectTimeout=3 "$tarball" "${ip}:${DIR}" || { echo "$ip: scp tarball error"; continue; }
    ssh -o ConnectTimeout=3 "$ip" "bash ${DIR}/$(basename ${installsh}) ${DIR}/$(basename ${tarball})" || { echo "$ip: install error"; }
    ) &
done

# wait all background processes to complete
for ((i=1; i<=n; i++))
do
    wait %$i
done

exec 4>&-
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
[winway@localhost auto_install]$ cat install_nrpe.sh
#! /bin/bash
#

if [[ "${#@}" -ne 1 ]]
then
    echo "Usage: $0 <tarball>"
    exit
fi

tarball="$1"

PATH=$PATH:/usr/sbin/
export PATH

groupadd nagios
useradd -g nagios nagios

if id oracle
then
    user=oracle
    group=oinstall
elif id admin
then
    user=admin
    group=admin
elif id smmc
then
    user=smmc
    group=nagios
else
    user=nagios
    group=nagios
fi

cd "$(dirname ${tarball})" || { echo "cd error"; exit 1; }

tar -zxvf "$tarball"

cd ${tarball%.tar.gz} || { echo "cd error"; exit 2; }

# --enable-command-args的作用是使nrpe支持传递参数
./configure --prefix=/usr/local/nagios --enable-command-args --with-nrpe-user=$user --with-nrpe-group=$group || { echo "configure error"; exit 3; }

make all || { echo "make all error"; exit 4; }

make install-plugin || { echo "make install-plugin error"; exit 5; }

make install-daemon || { echo "make install-daemon error"; exit 6; }

make install-daemon-config || { echo "make install-daemon-config error"; exit 7; }

cp -f /usr/local/nagios/etc/nrpe.cfg /usr/local/nagios/etc/nrpe.cfg.bk

if ! grep '^[ \t]*allowed_hosts.*10.208.253.87' /usr/local/nagios/etc/nrpe.cfg &>/dev/null
then
    sed 's/^[ \t]*\(allowed_hosts.*\)/\1,10.208.253.87/' /usr/local/nagios/etc/nrpe.cfg.bk | \
    sed 's/^[ \t]*dont_blame_nrpe=[01]/dont_blame_nrpe=1/' >/usr/local/nagios/etc/nrpe.cfg
else
    sed 's/^[ \t]*dont_blame_nrpe=[01]/dont_blame_nrpe=1/' /usr/local/nagios/etc/nrpe.cfg.bk >/usr/local/nagios/etc/nrpe.cfg
fi

chown -R $user:$group /usr/local/nagios

killall nrpe

sleep 2

nohup /usr/local/nagios/bin/nrpe -c /usr/local/nagios/etc/nrpe.cfg -4 -d &>/dev/null &

sleep 2

if ps -ef | grep nrpe &>/dev/null
then
    echo "start successfully"
else
    echo "start failed"
    exit 8
fi

if [[ -f /etc/rc.d/boot.local ]]
then
    if ! grep 'nrpe' /etc/rc.d/boot.local &>/dev/null
    then
        echo "nohup /usr/local/nagios/bin/nrpe -c /usr/local/nagios/etc/nrpe.cfg -4 -d &>/dev/null &" >>/etc/rc.d/boot.local
    fi
elif [[ -f /etc/rc.local ]]
then
    if ! grep 'nrpe' /etc/rc.local &>/dev/null
    then
        echo "nohup /usr/local/nagios/bin/nrpe -c /usr/local/nagios/etc/nrpe.cfg -4 -d &>/dev/null &" >>/etc/rc.local
    fi
else
    echo "Did not set self on"
fi

为了验证是否成功在被监控机器上安装了nrpe，编写了验证脚本verify_nrpe.sh。内容如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
[winway@localhost auto_install]$ cat verify_nrpe.sh
#! /bin/bash
#

if [[ ${#@} -ne 1 ]]
then
    echo "Usage: $0 <iplistfile>"
fi

iplistfile="$1"

n=0
while read ip
do
    echo "$ip"
    /usr/local/nagios/libexec/check_nrpe -H $ip -t 3
    [[ "$?" -ne 0 ]] && echo "check $ip please"
done <"$1"

执行：

1
sh verify_nrpe.sh iplist

便可以查看哪些机器的nrpe在正常运行，哪些机器的nrpe有问题，可以方便的定位安装有问题的机器。

回顾整个安装过程，还遇到了其他几个问题：

  • 部分机器没有安装openssl-devel包，导致configure报错找不到SSL libraries，从光盘上取得相应版本的openssl-devel包，使用pscp批量拷贝到目标机上，使用mussh批量安装，解决；
  • 部分机器的编译环境有问题，configure报错“c preprocessor /lib/cpp fails sanity check”、“no acceptable C compiler found in $PATH”、“C compiler annot create executables”，上网搜索了相关问题，没有找到太好的解决方法（我可不想重装gcc及相关pkg），就采用了一个取巧的方法，从具有相同操作系统的机器上，将成功安装的nrpe的相关文件夹，拷贝到有问题的机器上，解决；
  • 这个问题算是一个奇怪的问题，至今未解决，最后剩余16台机器死活装不上，原因是无法将安装包scp到被监控机器上。具体现象就是scp文件的时候，一直卡着不动，但是又不是所有文件都scp不成功，上面的install_nrpe.sh能scp成功， 但是nrpe-2.15.tar.gz就是scp不过去。我也尝试了rsync，nc，都不行，现象差不多。实在搞不定了，有空再说吧╮(╯▽╰)╭。

    至此，基本在所有被监控机上成功安装并运行了nrpe。

注意：这里在被监控机上只是安装了nrpe，并未安装nagios-plugins，因为所用到的插件都是我自己写的，所以安不安装nagios-plugins无所谓。

2. 将定制的插件放到被监控机上，并在被监控机的nrpe.cfg里定义command

为了监控服务，我总共编写了17个插件。插件的编写很简单，你可以用shell、python，甚至C，只要遵守插件编写的规范即可，具体插件编写的规范可以参考这里：
http://www.ibm.com/developerworks/cn/aix/library/au-nagios/
除了将编写的插件拷贝到被监控机上，还需要在被监控机上的nrpe的配置文件nrpe.cfg里定义检查命令，格式为：

1
command[check_xxx]=/usr/local/nagios/libexec/check_xxx -a $ARG1$ -b $ARG2$ -c $ARG3$

可以在监控机上用

1
check_nrpe –H x.x.x.x –c check_xxx –a arg1 arg2 arg3

来验证是否能成功获取信息。
为了批量对被监控机的nrpe进行配置，编写了脚本config_nrpe.sh，内容为：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
[winway@localhost auto_install]$ cat config_nrpe.sh
#! /bin/bash
#

if [[ "${#@}" -ne 1 ]]
then
    echo "Usage: $0 <tarball>"
    exit
fi

tarball="$1"

if id oracle
then
    user=oracle
    group=oinstall
elif id admin
then
    user=admin
    group=admin
elif id smmc
then
    user=smmc
    if id nagios
    then
        group=nagios
    else
        echo "Did not find valid group"
    fi
elif id nagios
then
    user=nagios
    group=nagios
else
    echo "Did not find valid user"
    exit 1
fi

cd "$(dirname ${tarball})" || { echo "cd error"; exit 1; }

tar -zxvf "$tarball"

cd ${tarball%.tar.gz} || { echo "cd error"; exit 2; }

if [[ -d /usr/local/nagios/libexec/ ]]
then
    cp -f plugins/* /usr/local/nagios/libexec/
else
    echo "/usr/local/nagios/libexec/ does not exists"
    exit 1
fi

if [[ -f /usr/local/nagios/etc/nrpe.cfg ]]
then
    sed '/^command\[.*602/d' /usr/local/nagios/etc/nrpe.cfg >nrpe.cfg.tmp
    cat nrpe_cmd.cfg >>nrpe.cfg.tmp
    mv -f nrpe.cfg.tmp /usr/local/nagios/etc/nrpe.cfg
fi

chown -R $user:$group /usr/local/nagios

killall nrpe

sleep 2

nohup /usr/local/nagios/bin/nrpe -c /usr/local/nagios/etc/nrpe.cfg -4 -d &>/dev/null &

sleep 2

if ps -ef | grep nrpe &>/dev/null
then
    echo "start successfully"
else
    echo "start failed"
    exit 8
fi

if [[ -f /etc/rc.d/boot.local ]]
then
    if ! grep 'nrpe' /etc/rc.d/boot.local &>/dev/null
    then
        echo "nohup /usr/local/nagios/bin/nrpe -c /usr/local/nagios/etc/nrpe.cfg -4 -d &>/dev/null &" >>/etc/rc.d/boot.local
    fi
elif [[ -f /etc/rc.local ]]
then
    if ! grep 'nrpe' /etc/rc.local &>/dev/null
    then
        echo "nohup /usr/local/nagios/bin/nrpe -c /usr/local/nagios/etc/nrpe.cfg -4 -d &>/dev/null &" >>/etc/rc.local
    fi
else
    echo "Did not set self on"
fi

使用方法与批量安装类似：

1
sh install.sh iplist config_nrpe.sh nrpe-config.tar.gz

原理也是将配置用到的文件，如自定义插件，定义的命令以及配置脚本scp到被监控机器上并执行。

至此，被监控机上的nrpe都进行了正确的配置，并正常运行。

3. 针对被监控的主机和服务，在监控机上进行配置

需要将被监控机及其上的服务信息配置到Nagios中，由于机器较多所以需要自动生成hosts.cfg。自动生成hosts.cfg的脚本spawn_hosts.sh，内容如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
[winway@localhost auto_install]$ cat spawn_hosts.sh
#! /bin/bash
#

if [[ ${#@} -ne 1 ]]
then
    echo "Usage: $0 <dir>"
    exit
fi

DIR="$1"
cd $DIR || { echo "Enter $DIR failed"; exit; }

for f in *.lst
do
    type=$(basename $f)
    type=${type%.*}
    members=""
    echo "$f"
    {
        while read address ip comment
        do
            echo -e "define host{"
            echo -e "\tuse\tlinux-server"
            echo -e "\thost_name\t${type}-${ip}"
            echo -e "\talias\t$address($comment)"
            echo -e "\taddress\t$ip"
            echo -e "}"
            members="${members},${type}-${ip}"
        done <"$f"
        echo -e "\n###############################################################################\n"
        echo -e "define hostgroup{"
        echo -e "\thostgroup_name\t$type"
        echo -e "\talias\t$type"
        echo -e "\tmembers\t$members"
        echo -e "}"
    } >/usr/local/nagios/etc/objects/hosts/"${type}.cfg"
done

使用方法

1
sh spawn_hosts.sh dir

其中dir中含有若干xxx.lst文件，xxx代表机器的类别，如web，db等，分类依据是，同类别机器需要监控的服务是相同的，这些机器会被放到一个hostgroup组内。xxx.lst文件每一行的格式为：

1
address ip comment

address可以用来标明该机器的位置信息，如在哪个机房；comment相当于备注，这两项没有严格要求，目的在于更清楚的辨别机器。
执行结果是在/usr/local/nagios/etc/objects/hosts/目录下生成若干*.cfg文件，如web.cfg的 文件内容大致为：

1
2
3
4
5
6
7
8
9
10
11
12
define host{
use   linux-server
host_name      web-192.168.100.37
alias 北京(这是一台web服务器)
address    192.168.100.37
}
###############################################################################
define hostgroup{
hostgroup_name     web
alias web
members , web-192.168.100.37
}

在services.cfg中进行如下配置

1
2
3
4
5
6
define service{
use   generic-service
hostgroup_name     web
service_description disk_usage
check_command     check_nrpe!check_web_disk_usage!80%
}

如果有其他服务需要监控，依此添加。最后在nagios.cfg中添加

1
2
cfg_file=/usr/local/nagios/etc/objects/services.cfg
cfg_dir=/usr/local/nagios/etc/objects/hosts

至此，nagios部署完毕O(∩_∩)O。

展开全文 >>

一个简易的服务器监控框架(2)

在一个简易的服务器监控框架(1)一文中，我们介绍了一个简单的服务器监控框架，可以监控服务器的某些状态，但是有一个前提，必须将关心的状态量化，比如磁盘空间使用率定义在一个数值范围内。但是有些信息很难量化，或者如果量化，就显得很繁琐。这里在一个简易的服务器监控框架(1)的基础上，稍作修改，将状态正常与否的判断放到脚本里面完成。
https://github.com/winway/a-simple-monitor-framework/tree/v2.0

1. 简介

程序包括以下文件和文件夹

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
$ ls -l
总计 140
-rwxrw-r-- 1 winway winway 976 07-28 21:22 analyse.sh
-rwxrw-r-- 1 winway winway 122 07-28 14:04 config.sh
drwxrwxr-x 4 winway winway 4096 08-09 23:40 data
-rwxr--r-- 1 winway winway 411 08-09 18:54 data_clear.sh
drwxrwxr-x 2 winway winway 4096 08-15 16:08 display
-rwxrw-r-- 1 winway winway 499 07-28 21:27 display.sh
drwxrwxr-x 4 winway winway 4096 08-09 19:37 etc
-rwxrw-r-- 1 winway winway 1377 07-28 21:25 format.sh
-rwxrw-r-- 1 winway winway 527 07-31 21:18 monitor.sh
-rwxrwxr-x 1 winway winway 20815 06-30 11:57 mussh
-rw-rw-r-- 1 winway winway 3718 08-04 17:10 raw2html.py
-rw-rw-r-- 1 winway winway 1684 07-30 19:19 raw_analyse.py
-rwxrw-r-- 1 winway winway 1796 08-09 19:37 snatch.sh
-rwxr--r-- 1 winway winway 1059 08-09 19:40 time_sync.sh
-rwxr--r-- 1 winway winway 584 08-09 19:21 verify.sh

  • monitor.sh
    主程序，会依次调用snatch.sh、analyse.sh、format.sh、verify.sh、display.sh
  • snatch.sh
    数据采集，基于mussh（不了解的可以参考下这里）实现，周期性抓取各服务器上感兴趣的数据项，存储到data文件夹中
  • analyse.sh
    数据分析，根据etc文件夹中的阈值配置文件，产生需要告警的条目，主要工作由raw_analyse.py完成
  • format.sh
    数据格式化，将原始的纯文本数据格式化为html格式，主要工作由raw2html.py完成
  • verify.sh
    数据完整性检查，将抓取的数据与配置文件进行对比，确定有误漏掉的监控对象
  • display.sh
    数据展示，更新display文件夹下的软连接，指向最新的html文件
  • time_sync.sh
    时间同步，由于某种原因，无法使用ntp，所以使用脚本设置被监控服务器的时间
  • data_clear.sh
    数据清理，清除data目录下的旧文件
  • config.sh
    一些变量的定义

    2. 配置

    配置文件结构如下：
    1
    2
    3
    4
    etc/
    |-- lst.d
    |-- monitor.conf
    `-- sh.d

其中monitor.conf是主配置文件

1
2
3
$ cat monitor.conf
# 类型 IP列表文件 检查脚本文件
database database.lst database.sh

类型是指服务器的角色，如数据库服务器，web服务器等；IP列表文件是对应这一角色的服务器的ip集合，格式为

1
2
3
# 归属地 用户@IP
哈尔滨 root@x.x.x.x
哈尔滨 root@x.x.x.x

这里“root@x.x.x.x”的格式是为了mussh执行起来方便而这么写的。
检查脚本文件是获取这个服务器数据应该执行的脚本。在目标机器上执行这个脚本，就可以获得我们关心的各项数据，这个脚本根据需要而定制，且对输出信息的格式有要求。示例脚本如下，其中有问题的数据条目以“**”结尾，而这个条目中真正有问题的项被“^^^^”和“&&&&”包裹,同一项数据组织成一行，行与行之间用“+”连接。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
#! /bin/bash
#

echo -n '<app1>'
n=$(pgrep app1 | wc -l)
if [[ n -ge 1 ]] && [[ n -le 4 ]]
then
    echo "$n"
else
    echo "${n}**"
fi

echo -n '<app2>'
n=$(pgrep app2 | wc -l)
if [[ n -ge 1 ]] && [[ n -le 4 ]]
then
    echo "$n"
else
    echo "${n}**"
fi

echo -n '<monitor>'
n=$(pgrep monitor | wc -l)
if [[ n -ge 1 ]]
then
    echo "$n"
else
    echo "${n}**"
fi

echo -n '<links_to_db>'
n=$(netstat -ant | grep -c '1521.*ESTABLISHED')
if [[ $n -ge 1 ]]
then
    echo "${n}"
else
    echo "${n}**"
fi

echo -n '<backup>'
du -sm /backup/* | \
awk -F'[ \t/]+' '{pref = suff = ""; if($1 >= 7168){warn = "**"; pref = "^^^^"; suff = "&&&&"};res = res ? res "+" pref $1 "M" OFS $NF suff : pref $1 "M" OFS $NF suff}END{print res warn}'

echo -n '<ORA_ERROR>'
start=$(date -d '5min ago' '+%s')
export start
tail -1500 /var/log/messages | while read a b c d; do e=$(date -d "$a $b $c" '+%s'); [[ $e -ge $start ]] && echo "$a $b $c $d"; done | \
LANG="C" sed -n '/ORA/s/.*\(ORA-[^:]*\):.*$/\1/p' | \
awk '{a[$0]; warn = "**"}END{for(i in a)res = res ? res "+" i : i; if(res)print res warn; else print "OK"}'
unset start

echo -n '<disk_usage>'
df -h | awk 'NR > 1{pref = suff = ""; if(int($(NF-1)) >= 80){warn = "**"; pref = "^^^^"; suff = "&&&&"};res = res ? res "+" pref $(NF-1) OFS $NF suff : pref $(NF-1) OFS $NF suff}END{print res warn}'

echo -n '<sys_time>'
date '+%Y-%m-%d %H:%M:%S'

echo -n '<uptime>'
uptime 2>/dev/null | sed -n '/up/s/^.*up[ \t]*\([^,]*\),.*$/\1/p'

由于mussh具有远程执行本地脚本的能力，所以我们不需要把这个脚本拷贝到远程主机上。
所以，如果你想加入对一批相同类型的机器的监控，你需要：

  1. 编辑一个IP列表文件，将他们的IP地址按合法的格式编辑
  2. 根据自己关心的数据项，定制一个检查脚本，脚本的输出信息格式如示例脚本所示
  3. 在monitor.conf里添加一条配置

3. 数据存储

数据存储类似于一个简易的服务器监控框架(1)中描述的。

4. 展示

展示类似于简易的服务器监控框架(1)中描述的。
monitor_v2_demo

5. 使用

需要安装mussh和python的PyH模块。根据需要编辑crontab文件。

展开全文 >>

本站总访问量66306次 | 本站访客数51331人
Fork me on GitHub