如何修改Hadoop的默认日志级别,还真是麻烦

鄙人使用的Hadoop版本为2.6.4。Hadoop的默认日志级别为INFO,对于百台以上的集群,如果文件操作频繁的话,NameNode会狂打日志,对性能会有一定的影响。

我们可以通过http://<namenode:50070>/logLevel在线修改NameNode的日志级别。如下所示:

但是,如果NameNode重启的话,又得重新设置,好麻烦。

怎么设置默认的日志级别为WARN呢?

Hadoop使用的是log4j记录日志,我们理所当然会想到去修改${HADOOP_HOME}/etc/hadoop/log4j.properties,但是改完重启,你会发现然并卵!!!

尼玛,这是为啥,认真看了下log4j.properties的配置说明,发现一个关键点:

# Define some default values that can be overridden by system properties
hadoop.root.logger=WARN,console  

意思就是说,这里的配置会被系统属性覆盖!

于是乎,查了下可能会设置系统属性的脚本,发现需要修改以下2个文件,才能把默认的日志级别改掉(我这里只改的HDFS的,Yarn的自行参考即可):

第一处是${HADOOP_HOME}/etc/hadoop/hadoop-env.sh,把INFO改为WARN即可:

# Command specific options appended to HADOOP_OPTS when specified
export HADOOP_NAMENODE_OPTS="-Xmx30720m -Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-WARN,RFAS} -Dhdfs.audit.logger=${HDFS_AUDIT_LOGGER:-WARN,NullAppender} $HADOOP_NAMENODE_OPTS"  

还有一处藏的比较深,是启动脚本${HADOOP_HOME}/sbin/hadoop-daemon.sh,也需要这样改一下:

export HADOOP_ROOT_LOGGER=${HADOOP_ROOT_LOGGER:-"WARN,RFA"}  

最后在重启下NameNode就可以了。

线上配合Zookeeper做了HA,所以可以平滑重启,直接使用以下命令先重启standby的NameNode,在将standby切换为active,在重启另一台NameNode就可以了。

# 先重启standby
cd ${HADOOP_HOME}/sbin  
./hadoop-daemon.sh stop namenode
./hadoop-daemon.sh start namenode
# 切换active节点,这里的nn2将被切换为active节点
hdfs haadmin -failover <nn1> <nn2>  
# 最后重启nn2就完事了,重启方式同上