Hatena::Groupfilesystem

fs_n314

 | 

2008-05-09

Debian(etch)でGfarmを使う

| 20:39 |  Debian(etch)でGfarmを使う - fs_n314 を含むブックマーク はてなブックマーク -  Debian(etch)でGfarmを使う - fs_n314

初期設定

Webからgfarm-2.0.0.tar.gzをダウンロード


メタデータサーバノード

apt-get install libssl-dev postgresql postgresql-dev


cd gfarm-2.0.0
./configure
make
make install

# 一般ユーザでログインしてsuしてから
config-gfarm -t

# 表示された設定で良いなら
config-gfarm

cp /usr/local/etc/gfarm2.conf client:/usr/local/etc/

useradd -c "Gfarm gfsd" -m  _gfarmfs
su _gfarmfs
gfkey -c -p 314360000 # 一年有効の鍵

ファイルサーバノード

apt-get install libssl-dev


cd gfarm-2.0.0
./configure
make
make install

useradd -c "Gfarm gfsd" -m  _gfarmfs
su _gfarmfs
scp root@server:~_gfarmfs/.gfarm_shared_key ~/
exit


config-gfsd -t

# 表示された設定で良いなら
config-gfsd

### ここから メタデータサーバに入り
# config-gfarm の時にログインしたユーザになり、上記コマンド時に促されたコマンドを実行
su user
/usr/local/bin/gfhost -c -a hoge -p name -n 2 host
#
### 終了

/etc/init.d/gfsd start

共有モードの場合(デフォルト?) .gfarm_shared_key は、全サーバユーザごとに共有しなければならないらしい。

/home 以下をNFSマウントしておくと楽だ、と書いてある。


でも、gfarmコマンドが特権ユーザじゃないと動かない。何か他に設定が要るんだろうか。


通所のファイルシステムとして使う場合の設定

※ ここは試行錯誤中

wget http://datafarm.apgrid.org/software/gfarmfs-fuse/gfarmfs-fuse-2.0.0.tar.gz
tar xvzf gfarmfs-fuse-2.0.0.tar.gz
cd gfarmfs-fuse-2.0.0

apt-get install libfuse2 fuse-utils libfuse-dev
apt-get install pkg-config

./configure

・・・エラーが出る。




lv /usr/local/include/gfarm/gfs.h

#if 0 /* not yet on Gfarm v2 */
#define GFARM_FILE_APPEND               0x00000800
#define GFARM_FILE_EXCLUSIVE            0x00001000
/* the followings are just hints */
#define GFARM_FILE_SEQUENTIAL           0x01000000
#define GFARM_FILE_REPLICATE            0x02000000
#define GFARM_FILE_NOT_REPLICATE        0x04000000
#define GFARM_FILE_NOT_RETRY            0x08000000
#endif

・・・なんかgfarm2では色々使えないぽい。




gfarmバージョン2ではgfarm2fsを使うみたい。

Gfarm v2

echo /usr/local/lib >> /etc/ld.so.conf
ldconfig

/usr/local/bin/gfarm2fs --help

で一通りオプションを見て、マウント

modprobe fuse
gfarm2fs target

rootでも特権ユーザでもエラーが出る。

というかrootならgflsもできない。


探したら発見した。

本件,SETUP.ja からすっかり抜けてしまっているところです.

Gfarm v2 の利用ユーザは必ず gfuser -c で事前に登録する必

要があります.例外は config-gfarm を実行したユーザで,そ

ユーザ自動的に administrator 権限のユーザとして登録

されます.

http://datafarm.apgrid.org/ml/gfarm-discuss-ja/msg00143.html
gfuser -c root root /root ""
gfarm2fs target
ls target

できた!

gfarm2fsの前に gfreg コマンドで何かファイルを登録しておくと分かり易い。

アンマウント普通にumount。


このままではgfarmルートディレクトリに特権ユーザ以外が書き込めないので、特権ユーザ

gfchmod 777 .

しておく。


データの複製

で、やりたかったのはこれなんだけど。

gfrep があまり動いてくれない。


ディレクトリを対象にできず、ファイル更新したら複製が失われるみたい。

論文にはopenを監視して複製をうまくやるようなことが書いてあったのにな。

tatebetatebe2008/05/30 00:16gfrepはGfarm-2.1.0でディレクトリを対象にできるようにもなりましたし,数で指定できるようにもなりました。さらにOpenMPを使うと並列に複製を作成します。ファイルの更新に対しては,現在はinvalidateベースで,close時に古いファイル複製を消すようにしています。updateベースにする,あるいは書込時に全ての複製に書き込むとか,様々な方法が考えられますが,ベースラインということでまずはinvalidateベースのものを実装しています。論文にもそのよう書いてあったと思います。Gfarm v2になって,随分いろいろな問題が解決しました。どんどん良くしていきたいと思っていますので,ご協力お願いします。

n314n3142008/06/08 18:30すいませんマイナーバージョンまで見てませんでした・・。
これを書いた時点ではまだ公開されてなかったのですね。使ってみます。

私はミラーリングファイルシステムを作っているのですが、比較できるものがあまりないんですよね・・需要がないのかと不安になりつつやってます。
興味があるのは分散というよりも複製ですが、Gfarmも色々試してみようと思います。

agdcfpduvuagdcfpduvu2014/02/05 19:07pltajgjmftztufn, <a href="http://www.ftnsfgxilp.com/">spftphigwj</a> , [url=http://www.pstmnmkxnn.com/]zxqcvekzai[/url], http://www.wzsstmfghe.com/ spftphigwj

トラックバック - http://filesystem.g.hatena.ne.jp/n314/20080509
 | 
日記の検索