夜行録 - 酔歩.net

日暮れて道遠し さらに夜道を行く もって夜行録と名付く

2015年12月23日 (Wed)

gfarm ログ

gfarm をガリガリに使うと、 syslog が gfarm のログで埋まってどうしようもなくなるので、ログレベルを変更。
デフォルトでこんなに何もかもログ出力しないでいいと思うけどね。

/etc/gfmd.conf

log_level warning

hadoop もログうるさすぎる系だよなぁ…。あっちもいずれどうにかしないと

2015年12月17日 (Thu)

パーティションお手玉

2T と 3T のディスクにまたがって、2.7T の logical volume があったんだが、用途が gfarm のストレージだったおかげで、 gfrep で他のノードに追っ払えて、 30G くらいになったところで xfsdump して、 unmount して、その他の lovical volume も pvmove で動かせて、すかさず fdisk してパーティション切れた(2T のディスクの方)。

昔、 2T に 2T 追加した時にパーティションきらなかった方で、切ってあった方が怪しくなった時に 3T なんかつけたらそっちから起動できなくて、どうしてもパーティション切り直さなきゃならなかったのがやっと何とかなった。 しかも、リモートからオンラインで。ああ苦しいお手玉だった。

ディスクに余裕があると、リカバリのために一旦バックアップとか出来て助かる。 学生の頃はそんなリソースなかったから、何を諦めるとかそんなのばっかだった気がする。

最後に新しい root を mount しておいて、 chroot して grub-install 。成功。素晴らしい(rebootはまだ)。

23:06:16 - その他雑記 - permalink

2015年12月15日 (Tue)

gfrep

gfarm の gfrep が、リンク先のない symlink などにぶつかるとあっさり死ぬので、深いサブディレクトリを持つディレクトリをまとめて move できない。 symlink 何てそんなもんじゃんよもー

しょうがないので、こんな場当たりコードで再帰して無理やり move 。/work/MYNAME/Gfarm/に一旦全体をマウントしておいて、そこを辿りながら、パスの前の方をぶった切って Gfarm のパスにする。それも echo と sed で。20年ぐらい前からずっとこんなやり方だな

#! /bin/bash

GFREP="gfrep -m -N 2 -H $HOME/gfarmdst -h $HOME/gfarmsrc"
GFMON="/work/MYNAME/Gfarm"
function rec () {
        GFPATH=`echo $1 | sed -e "s@${GFMON}@@"`
        ${GFREP} $GFPATH
        if [ $? -ne 0 ];
        then
                if [ -d $1 ];
                then
                        cd $1
                        for i in *;
                        do
                                rec $1/$i
                        done
                fi
        fi
}

rec $@

2015年12月13日 (Sun)

サーバ放置してたら酷い目にあった話

サーバ放置してたら大変酷い目にあった。トラブル3連発。しかもまだ未解決

その1:gfarm のメタデータサーバのバックエンドを、ldapにして放置していたら、

> sudo du -sh /var/gfarm-ldap
77G /var/gfarm-ldap

とかなっていて、/ に 100G とか割り当ててあったのに 95% くらい使い切っていて焦る。

一応この件の問題は、/var/gfarm-ldap/DB_CONFIG

set_flags DB_LOG_AUTOREMOVE

と指定するのみならず/etc/gfarm-ldap/slapd.conf

checkpoint  512  15

としておいてやらないと bdb のトランザクションログがちゃんと消えてくれないよ、ということで、ちゃんとそこまで書いておいて欲しいものである。
AUTOREMOVE だけは設定しておいたんだけどなー、これでいいのかどうか判らないから放置して様子みようとほったらかしにしたんだった。

[read more]

2015年11月08日 (Sun)

昇仙峡

行き当たりばったりに甲府まで。
行き当たりばったりすぎて、バスの時間がうまくなくって遅い時間について、天気も悪くなってあまり回れなかった。

23:56:34 - camera - permalink

2015年11月03日 (Tue)

雑事

新米が届いたので、元気よく1.5合炊いて、結局全部食べてしまうなど

ササニシキは炊きたてより、ちょっと冷めてぽそぽそっとなってる方が美味しいね

しかし、米が美味しい!と言って米ばかりばくばく食べてるのって、ドーナツ美味しいと言ってドーナツ食べまくってるのと大して変わらない気もする。

急に寒くなったので、寝具の準備をするなど

日当たり悪くなってきたら、急にひょろひょろ伸び出した多肉。植物は勝手に伸びるから困る。ずっとちっちゃいまんまでいいのに。

22:11:47 - その他雑記 - permalink

2015年10月07日 (Wed)

小旅行

それぞれ秩父と軽井沢へ


00:18:08 - camera - permalink

AWS EC2 GPUインスタンス

開発で使って遊んでいた EC2 の GPU インスタンスが、急に使えなくなった。

なにか変な操作した挙句、うっかり CUDA-7.0 の上に CUDA-7.5 入れてしまって、どうもドライバを変に上書きしてしまった模様。 なにせ nvidia-smi が kill されるとか、2回目はプロセスが刺さるとか、自分のコードでもデバイスチェックしに行って刺さるとかそのまま load av. が果てしなく上昇するとか全然使えない。

問題は、ここからどうやっても元に戻せなくなったこと。最後は新しいインスタンス作ってクリーンなところからインストールし直したけどどうしてもダメ。

というか、 CUDA のインストールを local repo 版でやったんだが、どうもそれが駄目で、

https://github.com/BVLC/caffe/wiki/Install-Caffe-on-EC2-from-scratch-(Ubuntu,-CUDA-7,-cuDNN)

に従って、 .run を手でインストールしたらこれはちゃんと動くようになった。納得いかん

最初に動いてた環境も local repo 版からのインストールだったはずなんだがなぁ。

半月ぐらい空費したが、なんとか開発続行できるようになり、判りにくいバグをなんとか半日かけて解析して、8月中に終わらせたかった開発はやっと1段落である。

00:13:40 - その他雑記 - permalink

2015年07月31日 (Fri)

機種変更

懸案だった機種変更にやっと踏み切った。
前機種はもう、メモリに対して動いてるアプリのメモリ要求が大きすぎて、タスクスイッチは遅いわレスポンスは遅いわタップは2、3回に1回無視されるわ酷いもんだった。

しかし小さい機種ないよね。一番小さくてもこの有様。重い。持ちにくい。

[read more]

15:13:20 - その他雑記 - permalink

2015年07月29日 (Wed)

伸びすぎ

アホほど伸びたヒポエステス。
小さな鉢がなかったので余っていたのに適当に植えたら一瞬でぴゅーーと伸びて、そのまま放置したらこの有様。

そうか、こいつは伸びたら即伐らんとダメか

流石にさっき斬った


[read more]

00:52:16 - その他雑記 - permalink

Newer articles:

17.05.2016

30.03.2016

02.02.2016

31.01.2016

Older articles:

14.07.2015

19.06.2015

15.06.2015