だいこんの日々2

軸足をtwitterとfacebookに移しつつも、技術的な話はここに書いていきます。

続・DBR-M190タイムシフトマシン録画ハードディスクの換装

便りのないのは良い便り、というではないですか。

わざわざ正常に動いているよ、というエントリを書くつもりはなかったんですが、2chで言及されているのを見つけてしまったので一応書いておきます。

現時点で問題なく動いています。

穿った見方しかできないなら、そもそも参照しなきゃいいのに。

DBR-M190タイムシフトマシン録画ハードディスクの換装

今朝、DBR-M190の電源を入れた時に、何か違和感はあった。が、実際には2時間後ぐらいに気づく。「タイムシフトマシン番組がありません」と言われて。

「お知らせ」を見るとタイムシフトマシン録画用ハードディスクにエラーが発生とのこと。なにー!

電源を入れなおしたり、各種設定の初期化をしても治らず。

事象としては、以下の方と同じなのだけれど、ディスク設定の初期化してもダメだった。
http://torishin.cocolog-nifty.com/odekake/2013/10/hdddbr-m190-e3e.html

どうにもならんので、修理に出すかと同様の事例を検索。購入後1年過ぎてるので無償ではないよなー、とか思いながら。

…は!? 計7万2千円!? ふざけんな。そんな金出すなら新機種買うわ!!!
http://bbs.kakaku.com/bbs/K0000293976/SortID=16720588/#tab 

  ってことでHDD換装に進路変更。

調査調査っと。換装してる情報は無いなぁ。お、ばらしてる人発見。ってかばらし過ぎでは…w
http://p.twipple.jp/user/ma_osa

HDDはHITACHIの"HCS5C2020ALA632"×2台か。この型は出回ってないなぁ。3.5インチ/2TB/SATA600で静音HDDを探すか。しかも基盤が2階建てか。面倒くさそうだなぁ。

近場のPC DEPOTへ。該当HDDは3種。特売してたWD20EZRXにした。

 早速ばらす。予想通り、HDDを取り出すまでかなりきつい道のりだった。

f:id:sfio:20131123162840j:plain

内蔵されていたタイムシフトマシン用ハードディスク。これが2台。

f:id:sfio:20131123162850j:plain

換装したのはこちら。

f:id:sfio:20131123170016j:plain

組み立てて、電源入れたら普通に認識した!治った!

そして手元にこれが残った。

f:id:sfio:20131123201450j:plain

んー???
50本くらいネジ外したのでどこか閉め忘れた。まぁ、いいか。どうせすでに保証対象外。

タスクログが出力されない

ApacheHadoop® 1.2.1を試していたのだが、とあるタイミングからタスクのログが出力されなくなった。

調べていくと、userlogにログ自体は出力されている。だが、log.indexの項目が0になっている。どうやら画面に出力されていないだけのようだ。

考えられるのは、設定ファイルを整理したタイミング。設定ファイルを古いもの(0.20.2で使っていたもの)に戻すと出力されるので、何らかの新規設定が悪さをしているのは間違いない。

設定ファイルの差分を取りながら、1つ1つ可能性をつぶしていくと、いた!

犯人は「mapred.userlog.limit.kb」だ。

これは「タスクが出力する userlog の最大値」なのだが、0以外の値を設定するとログが出力されなくなるっぽい。なんだこりゃ。

CDHの方にも報告が上がっており、CDH3u6で解決ずみっぽい。本家は…?

とりあえずログが出なくなる方が問題なので、デフォルト設定にして解決。

CDH4.4 MRv1 のマニュアルインストール

日本語記事が見つからなかったので、ざっくりと書いてみる。

パッケージで入れるのが普通なんだろうけれど、root権限が使えない環境ってのもあるわけで。

 

本家のドキュメントはこちら。まぁ、これを見つけられれば簡単なんだけど。

 

1.Download

1-1.CDH4.4

まず CDH4.4 の Tarball のダウンロード。

Cloudera Downloads

現時点での最新版である hadoop-2.0.0+1475 をダウンロード。

hadoop-2.0.0-cdh4.4.0.tar.gz

 

1-2.Apache Hadoop

つぎに Apache Hadoop もダウンロードしておく。一部のshellを使うので。

(CDH3 でもいいかもしれない。)

Download a release now!

現時点での stable である Release 1.2.1 をダウンロード。

hadoop-1.2.1-bin.tar.gz

 

2.Extract 

アーカイブを展開する。

今回は /usr/local にインストールすることにする。

 

$ cd /usr/local

$ tar zxvf hadoop-2.0.0-cdh4.4.0.tar.gz

$ tar zxvf hadoop-1.2.1-bin.tar.gz

 

主要なディレクトリ構成はこんな感じ。

/usr/local/hadoop-2.0.0-cdh4.4.0

 |--bin

 |--bin-mapreduce1

 |--cloudera

 |--etc

 |   |--hadoop

 |   |--hadoop-mapreduce1

 |   |--hadoop-mapreduce1-pseudo

 |   +--hadoop-mapreduce1-secure

 |--examples

 |--examples-mapreduce1

 |--include

 |--lib

 |--libexec

 |--sbin

 |--share

 |   |--doc

 |   +--hadoop

 |       |--common

 |       |--hdfs

 |       |--httpfs

 |       |--mapreduce1

 |       |--mapreduce2

 |       |--tools

 |       +--yarn

 +--src

 

/usr/local/hadoop-1.2.1

 |--bin

 |--c++

 |--conf

 |--contrib

 |--ivy

 |--lib

 |--libexec

 |--sbin

 |--share

 |--src

 +--webapps

 

3.symlink

MRv1 用にシンボリックリンクを張る。

 

$ ln -s /usr/local/hadoop-2.0.0-cdh4.4.0/bin-mapreduce1 /usr/local/hadoop-2.0.0-cdh4.4.0/share/hadoop/mapreduce1/bin

$ ln -s /usr/local/hadoop-2.0.0-cdh4.4.0/etc/hadoop-mapreduce1 /usr/local/hadoop-2.0.0-cdh4.4.0/share/hadoop/mapreduce1/conf

 

4.copy

シェルスクリプトをコピー。

ここでやっと Apache Hadoop をダウンロードした意味が分かりましたね。

なぜ同梱されていないのだろうか? 

 

$ cp /usr/local/hadoop-1.2.1/bin/start-dfs.sh /usr/local/hadoop-2.0.0-cdh4.4.0/bin-mapreduce1

$ cp /usr/local/hadoop-1.2.1/bin/stop-dfs.sh /usr/local/hadoop-2.0.0-cdh4.4.0/bin-mapreduce1

 

5.environment variables

hadoop-config.sh の最初の方に環境変数の設定を追加しておく。

 

$ vi /usr/local/hadoop-2.0.0-cdh4.4.0/bin-mapreduce1/hadoop-config.sh

export HADOOP_HOME=/usr/local/hadoop-2.0.0-cdh4.4.0/share/hadoop/mapreduce1

export HADOOP_CONF_DIR=$HADOOP_HOME/conf

export JAVA_HOME=/usr/lib/j2sdk1.6-sun

 

6.conf

設定ファイルを修正する。これでほぼ完了。

解説しているサイトがいろんなところにあるので、そちらを見てください。

 

$ cd /usr/local/hadoop-2.0.0-cdh4.4.0/etc/hadoop-mapreduce1

$ vi hadoop-env.sh

$ vi hdfs-site.xml

$ vi mapred-site.xml

$ vi core-site.xml

$ vi masters

$ vi slaves

 

分散環境で実行する場合は、その設定も各サーバで行ってね。

 

7.start & stop

start

$ /usr/local/hadoop-2.0.0-cdh4.4.0/share/hadoop/mapreduce1/bin/start-dfs.sh

$ /usr/local/hadoop-2.0.0-cdh4.4.0/share/hadoop/mapreduce1/bin/start-mapred.sh

stop

$ /usr/local/hadoop-2.0.0-cdh4.4.0/share/hadoop/mapreduce1/bin/stop-mapred.sh

$ /usr/local/hadoop-2.0.0-cdh4.4.0/share/hadoop/mapreduce1/bin/stop-dfs.sh

 

Googleアカウントのパスワード変更とAndroidと。

Googleアカウントのパスワードを変更した後、どうやってAndroidのアカウントに変更を反映するのかというと、beautiful-moon.netさんを参照してください。

ただ私の場合は、通知バーに出てきた「許可をリクエスト」をクリックすると固まって、しばらくすると「プロセスcom.google.android.gsf.loginは停止しました。」と表示。またしばらくたつと通知バーに表示される、という状態でした。触らなければ特に問題ないけど気持ち悪い。

ということで調べてみるとこんなスレッドが。

How to solve com.google.android.gsf.login has stopped problem for s4?? Please help me..

で、書いてある通りMy Tracksを消してみるとビンゴ!無事解決しました。

Hadoopとext3とuserlogsと。

Hadoopでトラぶったのでメモる φ(`д´)

最近、某システムの利用頻度が上がってきたのだが、突然tasktrackerが失敗しだして、ログには以下のようなメッセージが。

FAILED java.io.IOException: Task process exit with nonzero status of 1. at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:418)

調べてみると、tasktrackerのuserlogs以下が32000ディレクトリもあった。

Error in Hadoop MapReduce - Stack Overflow

ext3を使っている人は、短期間でのJob大量投入に注意しましょう!
あと、mapred.tasktracker.*.tasks.maximummapred.userlog.retain.hoursの設定ね。

How to ROOT Galaxy Note 10.1 (GT-N8000) / Galaxy Note 2 (GT-N7100)

HTC Desire から Galaxy Note 10.1 / Galaxy Note 2 に移行することにした。
けど、root持ってないといろいろ移行がきつい。

ってことで、今のところ、以下のような方法でできるようだ。
保証なくなるのを覚悟してやること。

How to Root N7100

How to ROOT Galaxy Note 10.1 3G/Wifi! N8000/N8013/N8010