夜行録 - 酔歩.net

gfarm をガリガリに使うと、 syslog が gfarm のログで埋まってどうしようもなくなるので、ログレベルを変更。
デフォルトでこんなに何もかもログ出力しないでいいと思うけどね。

/etc/gfmd.conf で

log_level warning

hadoop もログうるさすぎる系だよなぁ…。あっちもいずれどうにかしないと

2T と 3T のディスクにまたがって、2.7T の logical volume があったんだが、用途が gfarm のストレージだったおかげで、 gfrep で他のノードに追っ払えて、 30G くらいになったところで xfsdump して、 unmount して、その他の lovical volume も pvmove で動かせて、すかさず fdisk してパーティション切れた（2T のディスクの方）。

昔、 2T に 2T 追加した時にパーティションきらなかった方で、切ってあった方が怪しくなった時に 3T なんかつけたらそっちから起動できなくて、どうしてもパーティション切り直さなきゃならなかったのがやっと何とかなった。 しかも、リモートからオンラインで。ああ苦しいお手玉だった。

ディスクに余裕があると、リカバリのために一旦バックアップとか出来て助かる。 学生の頃はそんなリソースなかったから、何を諦めるとかそんなのばっかだった気がする。

最後に新しい root を mount しておいて、 chroot して grub-install 。成功。素晴らしい（rebootはまだ）。

gfarm の gfrep が、リンク先のない symlink などにぶつかるとあっさり死ぬので、深いサブディレクトリを持つディレクトリをまとめて move できない。 symlink 何てそんなもんじゃんよもー

しょうがないので、こんな場当たりコードで再帰して無理やり move 。/work/MYNAME/Gfarm/に一旦全体をマウントしておいて、そこを辿りながら、パスの前の方をぶった切って Gfarm のパスにする。それも echo と sed で。２０年ぐらい前からずっとこんなやり方だな

#! /bin/bash

GFREP="gfrep -m -N 2 -H $HOME/gfarmdst -h $HOME/gfarmsrc"
GFMON="/work/MYNAME/Gfarm"
function rec () {
        GFPATH=`echo $1 | sed -e "s@${GFMON}@@"`
        ${GFREP} $GFPATH
        if [ $? -ne 0 ];
        then
                if [ -d $1 ];
                then
                        cd $1
                        for i in *;
                        do
                                rec $1/$i
                        done
                fi
        fi
}

rec $@

サーバ放置してたら大変酷い目にあった。トラブル３連発。しかもまだ未解決

その１：gfarm のメタデータサーバのバックエンドを、ldapにして放置していたら、

> sudo du -sh /var/gfarm-ldap
77G /var/gfarm-ldap

とかなっていて、/ に 100G とか割り当ててあったのに 95% くらい使い切っていて焦る。

一応この件の問題は、/var/gfarm-ldap/DB_CONFIG に

set_flags DB_LOG_AUTOREMOVE

と指定するのみならず、/etc/gfarm-ldap/slapd.conf で

checkpoint  512  15

としておいてやらないと bdb のトランザクションログがちゃんと消えてくれないよ、ということで、ちゃんとそこまで書いておいて欲しいものである。
AUTOREMOVE だけは設定しておいたんだけどなー、これでいいのかどうか判らないから放置して様子みようとほったらかしにしたんだった。

[read more]