hadoop

A 3-post collection

如何修改Hadoop的默认日志级别,还真是麻烦

鄙人使用的Hadoop版本为2.6.4。Hadoop的默认日志级别为INFO,对于百台以上的集群,如果文件操作频繁的话,NameNode会狂打日志,对性能会有一定的影响。 我们可以通过http://<namenode:50070>/logLevel在线修改NameNode的日志级别。如下所示: 但是,如果NameNode重启的话,又得重新设置,好麻烦。 怎么设置默认的日志级别为WARN呢? Hadoop使用的是log4j记录日志,我们理所当然会想到去修改${HADOOP_HOME}/etc/hadoop/

Hadoop在线修改日志级别

修改地址: http://{your_hadoop_namenode_ip}:50070/logLevel 对于在线排查问题还是很方便的。 hadoop 2.4.0, 当配置双namenode,其中一个挂掉很长时间时,再次启动,会有大量的FSImage同步操作,此时namenode处于safe mode,这个操作可能非常耗时(视文件变动多少而定),关闭无关日志可以加快namenode的启动。 hadoop 2.6.x已经解决了这个问题。

Hadoop向文件中追加数据

hadoop版本:2.4.0 通过Hadoop,FileSystem中的append方法追加数据。 核心代码(Scala)如下: import java.net.URI import org.apache.hadoop.fs.{Path, FileSystem} ... def appendText(content: String): Unit = { // 目标文件