ひしだまの変更履歴

ひしだまHPの更新履歴。
主にTRPGリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。

対ヴォルデモート Hadoop戦 勝利!

2010-06-12 14:27:53 | PG(NoSQL)

Voldemort(DB)では、読込専用のストア(テーブル)を作ることが出来る。
で、そのストア用のデータは、Hadoopを使って作成する。

このデータ作成の実験に先週は失敗した(Voldemortに負けた)が、やっと上手くいった。
要するにVoldemort起動シェル(voldemort-server.sh)で組み込んでいるHadoopのバージョン(0.18)と実際に稼動していたHadoopのバージョン(0.20)が異なっていたのがいけなかったらしい。
コンパイル時点ならまだしも、実行時に違ってちゃ、確かにダメかもしれない…(苦笑)
(publicメソッドやクラスの増減のことを考えると、コンパイル時点でもバージョンを合わせるべきではある)

DBがどの言語で実装されているかなんて、基本的にはどうでもいいはずだけど、何か障害があった時には知ってる言語(見るのに慣れている言語・環境)でないと調査しづらい面があるんだな~という事を改めて認識。


ところでVoldemortの身辺調査をしていてちょっと見えてきたのは、
Voldemortは上から下まで自分で全部やっている(DBとして全部作りこんでいる)というわけではなく、足元は他人に任せてフロントエンド(前面)に力を入れている感じ。
つまりバックエンドで各ノード(コンピューター)上に実際にデータを保存するにはBerkeleyDBやMySQLといった既存のRDBを利用、あるいはメモリー上にキャッシュするといった方法をとる。
フロントエンドとしてKVSをネットワーク上に分散させたり、読込専用ストアを定義してみたりといった機能をVoldemort自身が提供している。

CassandraHBaseがファイルシステムへのアクセスも(一応)自分でやっているのとは対照的な考え方で、興味深い。


コメント (2)    この記事についてブログを書く
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする
« ヴォルデモートに挑戦! | トップ | カテゴリー追加 »
最新の画像もっと見る

2 コメント

コメント日が  古い順  |   新しい順
Unknown (shot)
2010-06-15 15:35:26
Voldemortは永続化層にはかなりの拡張性があるので例えば高速なデータベースの上にかぶせることも比較的簡単にできます。

ただし、デメリットとしてはVoldemort以外の設定も熟知しないとスケールする設定には出来ない点です。デフォルトでも永続化層はBDBを使うのですが、その設定も熟知していないとスケールメリットが得られにくいのです。
返信する
永続化層 (ひしだま)
2010-06-17 01:55:39
なるほど~。

でも逆にBDBやMySQLに詳しい人にとっては、活躍の場があって嬉しいかもしれませんね(笑)
返信する

コメントを投稿

PG(NoSQL)」カテゴリの最新記事