Hadoopとext3とuserlogsと。

Hadoopでトラぶったのでメモる φ(｀д´)

最近、某システムの利用頻度が上がってきたのだが、突然tasktrackerが失敗しだして、ログには以下のようなメッセージが。

FAILED java.io.IOException: Task process exit with nonzero status of 1. at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:418)

調べてみると、tasktrackerのuserlogs以下が32000ディレクトリもあった。

Error in Hadoop MapReduce - Stack Overflow

ext3を使っている人は、短期間でのJob大量投入に注意しましょう！
あと、mapred.tasktracker.*.tasks.maximumとmapred.userlog.retain.hoursの設定ね。