MongoDB离线创建索引

目的

阐述一种风险较低，耗时较少的MongodDB创建大量索引的方案。
适用于 MongodDB2.x副本集。

原理

MongodDB2.2前台创建索引命令会阻塞实例的复制和读写操作，虽然可以通过指定background选项来避免，但是从节点依然是前台创建索引，而且在大数据集上建立索引耗时很长。
官方建议将副本集的节点摘下之后进行创建索引操作，然后再加入集群。
通过initial sync或者复制集群其他节点的数据在副本集中临时添加hidden节点，摘下hidden节点创建索引，然后将hidden节点的数据依次拷贝到集群中的其他节点，实现整个集群的索引创建。

参考资料：
https://docs.mongodb.org/v2.2/core/indexes/#index-creation-background
https://docs.mongodb.org/v2.2/administration/indexes/#index-building-replica-sets

步骤

1. 部署新的hidden节点

  • 配置hosts、iptables，保证新节点可以顺利与集群其他节点通信
  • 配置mongodb并启动，配置文件参考集群其他节点

2. 添加hidden节点

  • 登陆到集群的primary，执行

    1
    rs.add({_id: 3, host: "hidden.Test.mongodb:6681", priority: 0, hidden: true})

  • 检查集群状态

    1
    2
    rs.conf()
    rs.status()

3. 等待hidden节点完成initial sync（此方法耗时很长，但可以获得一份压缩后的数据）

4. 检查集群状态，确认一切正常，继续

1
2
rs.conf()
rs.status()

5. 关闭hidden节点，检查集群状态，确认一切正常，继续

1
2
rs.conf()
rs.status()

6. 以standalone方式启动hidden节点

7. 登陆hidden节点，执行创建索引动作

8. 待创建完毕，关闭hidden节点，以副本集方式启动

9. 检查集群状态和索引状态，确认一切正常，继续

1
2
3
rs.conf()
rs.status()
db.xxx.getIndexKeys()

10. 将hidden节点的新数据，逐个拷贝到集群中的其他secondary节点，并使用新数据重启mongod。对于primary节点，先使用rs.stepdown()，待新的primary节点产生后再进行重启。

11. 移除hidden节点

  • 关闭hidden节点的mongod
  • 登陆primary节点执行
    1
    rs.remove("hidden.Test.mongodb:6681")

12. 清理线上关于hidden节点的hosts、iptables配置

至此，完成整个集群的索引创建

回滚

由于原始数据会进行备份，所以回滚只需替换回原来的数据启动。

展开全文 >>

MongoDB硬盘空间紧缩

目的

阐述一种风险较低，耗时较少的MongoDB硬盘空间紧缩方案。
适用于MongoDB2.x副本集。

原理

MongoDB2.2只有在dropdatabase时才会释放硬盘空间，删除document和collection不会释放硬盘空间，而是重复利用。而且随着数据库数据的增、删、改，会产生大量碎片，导致100G的数据可能占用300G的空间，数据紧缩的需求应运而生。
数据紧缩实际是通过MongoDB的initial sync数据重建来实现的。
通过在副本集中临时添加hidden节点，通过hidden节点的initial sync获得一份紧缩后的全量数据，然后将这份数据依次拷贝到集群中的其他节点，实现整个集群的硬盘空间紧缩。

参考资料：
https://docs.mongodb.org/v2.2/administration/replica-sets/#resyncing-a-member-of-a-replica-set

步骤

1. 部署新的hidden节点

  • 配置hosts、iptables，保证新节点可以顺利与集群其他节点通信
  • 配置mongodb并启动，配置文件参考集群其他节点

    2. 添加hidden节点

  • 登陆到集群的primary，执行

    1
    rs.add({_id: 3, host: "hidden.Test.mongodb:6681", priority: 0, hidden: true})

  • 检查集群状态

    1
    2
    rs.conf()
    rs.status()

3. 等待hidden节点完成initial sync

4. 检查集群状态，确认一切正常，继续

1
2
rs.conf()
rs.status()

5. 将hidden节点的新数据，逐个拷贝到集群中的其他secondary节点，并使用新的数据文件启动mongod（原始数据文件进行备份）。对于primary节点，先使用rs.stepdown()，待新的primary节点产生后再进行操作。

6. 移除hidden节点

  • 关闭hidden节点的mongod
  • 登陆primary节点执行
    1
    rs.remove("hidden.Test.mongodb:6681")

7. 清理线上关于hidden节点的hosts、iptables配置

至此，完成整个集群的硬盘空间压缩

回滚

由于原始数据会进行备份，所以回滚只需替换回原来的数据启动。

展开全文 >>

Hadoop监控方案总结

本文结合自己在Hadoop运维工作中的经验，对Hadoop的监控指标和可用的监控手段进行总结。

一、 监控类别

1. 基础监控

（1）机器可用性监控（单机粒度，针对Hadoop集群的所有机器）

  • 机器存活PING
  • 远程登录SSH

建议报警方式：短信
（2）机器资源占用监控（单机粒度，针对Master；集群粒度，针对所有Slave）

  • CPU. % CPU Utilization and periodic (1, 5, 15 minutes) CPU load averages
  • DISK. Average Disk data transfer rates (I/O bandwidth) and Number of disk I/O operations per second
  • DISK USAGE(%)
  • NETWORK. Average data transfer rate and network latency
  • MEMORY. Average Memory and Swap space utilization

建议报警方式：根据阈值进行邮件或短信报警。

2. 应用监控

（1）存活类：进程监控（单机粒度）
监控namenode、datanode等程序的进程是否存在。

建议报警方式：主节点短信，从节点邮件
（2）存活类：端口监控（单机粒度）

组件 Daemon 端口 配置 说明
HDFS DataNode 50010 dfs.datanode.address datanode服务端口，用于数据传输
HDFS DataNode 50075 dfs.datanode.http.address http服务的端口
HDFS DataNode 50475 dfs.datanode.https.address https服务的端口
HDFS DataNode 50020 dfs.datanode.ipc.address ipc服务的端口
HDFS NameNode 50070 dfs.namenode.http-address http服务的端口
HDFS NameNode 50470 dfs.namenode.https-address https服务的端口
HDFS NameNode 8020 fs.defaultFS 接收Client连接的RPC端口，用于获取文件系统metadata信息。
HDFS journalnode 8485 dfs.journalnode.rpc-address RPC服务
HDFS journalnode 8480 dfs.journalnode.http-address HTTP服务
HDFS ZKFC 8019 dfs.ha.zkfc.port ZooKeeper FailoverController，用于NN HA
YARN ResourceManager 8032 yarn.resourcemanager.address RM的applications manager(ASM)端口
YARN ResourceManager 8030 yarn.resourcemanager.scheduler.address scheduler组件的IPC端口
YARN ResourceManager 8031 yarn.resourcemanager.resource-tracker.address IPC
YARN ResourceManager 8033 yarn.resourcemanager.admin.address IPC
YARN ResourceManager 8088 yarn.resourcemanager.webapp.address http服务端口
YARN NodeManager 8040 yarn.nodemanager.localizer.address localizer IPC
YARN NodeManager 8042 yarn.nodemanager.webapp.address http服务端口
YARN NodeManager 8041 yarn.nodemanager.address NM中container manager的端口
YARN JobHistory Server 10020 mapreduce.jobhistory.address IPC
YARN JobHistory Server 19888 mapreduce.jobhistory.webapp.address http服务端口
HBase Master 60000 hbase.master.port IPC
HBase Master 60010 hbase.master.info.port http服务端口
HBase RegionServer 60020 hbase.regionserver.port IPC
HBase RegionServer 60030 hbase.regionserver.info.port http服务端口
Hive Metastore 9083 /etc/default/hive-metastore中export PORT=来更新默认端口 　
Hive HiveServer 10000 /etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=来更新默认端口 　
Kerberos Kadmin 749
Kerberos KDC 88
ZooKeeper Server 2181 /etc/zookeeper/conf/zoo.cfg中clientPort= 对客户端提供服务的端口
ZooKeeper Server 2888 /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]，标蓝部分 follower用来连接到leader，只在leader上监听该端口。
ZooKeeper Server 3888 /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]，标蓝部分 用于leader选举的。只在electionAlg是1,2或3(默认)时需要。

建议报警方式：主节点短信，从节点邮件
（3）可用性监控

  • HDFS Safe Mode Status
  • NameNode edit logs directory status
  • 通过执行有代表性的操作确保服务响应正常。如创建目录、上传文件、下载文件、删除文件、执行m/r等

建议报警方式：短信
（4）容量监控

  • HDFS capacity utilization
  • HDFS blocks utilization

建议报警方式：根据阈值进行邮件或短信报警
（5）集群节点状态监控

  • dataNodes (live, dead, and decom)
  • nodeManager (active, lost, and decom)
  • regionServers (live, dead, in transition)

建议报警方式：根据阈值进行邮件或短信报警
（6）数据完整性监控
Monitor nodes with potential of corrupted data (number of under-replicated blocks).
建议报警方式：邮件
（7）访问延时监控

  • NameNode RPC latency alert. This alert is triggered if the NameNode operations (RPC) latency exceeds the configured critical threshold. Typically an increase in the RPC processing time increases the RPC queue length, causing the average queue wait time to increase for NameNode operations.
  • HBase RegionServers average read latency. the HDFS read latency for the Region Servers aggregated across all the region servers (slaves)
  • HBase RegionServers average write latency. the HDFS write latency for the Region Servers aggregated across all the region servers (slaves)
  • HBase RegionServers RPC Average Waiting Time. the average wait time aggregated across all the region servers (slaves)

建议报警方式：邮件
（8）日志监控
对每个服务的错误日志进行监控，日志格式通过log4j配置，邮件报警。
建议报警方式：邮件

3. 监控图形展现

通过图表方式对整个集群的CPU、内存、磁盘、网络、I/O等信息进行展现。
ganglia

二、 可用的监控方法

1. ganglia

能够采集系统级别和Hadoop集群的度量信息，支持聚合。

  • 通过gmond获取机器的CPU、内存、磁盘等系统相关信息。
  • Hadoop原生支持ganglia（hadoop-metrics2.properties，hadoop-metrics2-hbase.properties），直接通过nodemanager、datanode、regionserver等节点发送的数据获取hadoop自身的度量信息。

不支持报警邮件和短信，解决方案：ganglia-alert、gangila + nagios
ganglia

2. zabbix

采集系统级别、hadoop本身的度量信息（需要插件Apache Hadoop Plugin、Apache HBase Plugin）
不支持聚合
zabbix

3. 网页分析（结合第三方监控系统）

通过访问以下页面，获取各节点信息，以插件方式集成到第三方监控该系统中。
http://master:50030 查看MapReduce上的resourcemanager
http://master:50060 查看MapReduce上的node manager
http://master:50070 查看HDFS上的节点信息namenode
http://master:60010/master.jsp 查看master节点信息 hmaster
http://master:60030/regionserver.jsp 查看regionserver信息
http://master:60010/zk.jsp 查看zookeeper信息

4. jmx（结合第三方监控系统）

Java Management Extensions (JMX)，Hadoop自带的监控接口。
NameNode的信息：http://namenode:50070/jmx
DataNode的信息：http://datanode:50075/jmx
http://your_namenode:50070/jmx?qry=Hadoop:service=NameNode,name=NameNodeInfo
返回值全部是JSON，非常便于自己进行处理。返回的信息（hadoop+jvm）也非常详细，内存状态，java堆信息等等。甚至还有操作系统信息，版本，JVM版本信息等等，很全面。
hadoop-jmx

5. Ganglia数据源（结合第三方监控系统）

可以直接调用gmeta接口获取ganglia所采集的Hadoop集群的度量数据
curl ‘http://127.0.0.1:8652/hadoop?filter=summary'
curl ‘http://127.0.0.1:8652/hadoop/yf3493.sogou-in.domain/disk_free'

Ganglia API
The Ganglia API is a small standalone python application that takes XML data from a number of Ganglia gmetad processes and presents a RESTful JSON API of the most recently received data.

6. hadoop cmd（结合第三方监控系统）

hadoop dfsadmin -report
用这个命令可以快速定位出哪些节点down掉了，HDFS的容量以及使用了多少，以及每个节点的硬盘使用情况。当然NameNode有个http页面也可以查询，但是这个命令的输出更适合我们的脚本监控dfs的使用状况
hadoop fsck /
用这个命令可以检查整个文件系统的健康状况，但是要注意它不会主动恢复备份缺失的block，这个是由NameNode单独的线程异步处理的。

展开全文 >>

本站总访问量66286次 | 本站访客数51312人
Fork me on GitHub