オブジェクト・ストレージ・システムの１つ － LeoFS

12日のクラウドストレージ研究会のメモメモ

最近は、データの保存が話題。オブジェクト・ストレージ・システムもそんな文脈で
かんがえられているけど、今回の御題は、楽天のオブジェクト・ストレージ・システム
の１つLeoFSについて

---

　
■ＬｅｏＦＳ　楽天のはらさん

　ｖ０．１２．５リリース：現在検証中

１．モチベーション
　　２０１０年２月から
　　　　画像ファイル：どんどん増えていくんじゃないか？
　　　　　　→今は動画、ＰＤＦ、ログデータなども対応
　　低ＲＯＩ
　　SPOF
　　ストレージ拡張：サーバー購入からセットアップ
　Ａｍａｚｏｎ　Ｓ３　ファイル数伸びている
　　１兆ファイル？
　　→楽天も増えている
Ｔｗｉｔｔｅｒ：オブジェクトストア
　　→内製で作ってる。
楽天は、オープンソース

２．オブジェクト・ストレージ・システム
　　　　ＣａｓｓａｎｄｒａはＫＶＳ
重視した点
　ユースケース
　アベイラビリティ
　パフォーマンス
　スケーラビリティ
　アドミニストレーション

実現したこと
　ハイアベイラビリティ
　リライアビリティ
　ハイコストパフォーマンス

昨年夏（ばりあという名前）
　　画像ストレージとして健在
ＬＥＯ　ＦＳに
　　ことし７月４日にリリース
　　大きな目標：会社のデータハブ
　　いままでＮＦＳ→今後ＬＥＯＦＳ
　　エコシステムを築く：使いやすさ

２．Ｏｖｅｒｖｉｅｗ
　ＥＲＬＡＮＧで開発
　　　コンカレンシー
　　　　　　かうちＤＢとかみてて、
　３つの機能
　　ストレージ：リカバラー、キュー
　　ゲートウェイ
　　マネージャー
ＺａＢＢＩＸとかモニタリングツールつかって監視できる
メディアプラットフォームに導入
　　サーチとかまだ
　　ＮＦＳよりコスト安
Inside LEOFS
　ゲートウェイ：ＨＴＴＰ
　　　　　　　　→ＥｒｌａｎｇＲＰＣ
　　　　　　　　　　　→すとれーじくらすた
　　　　　　　　　　　　　　→マネージャークラスタ

ＬＥＯＦＳゲートウェイ
　　Ｓ３ＡＰＩ　かーぼーい？

ＬＥＯＦＳ　すとれーじ
　　メタデータ：１つのオブジェクトの中に
　　オブジェクトストレージ
　　オブジェクトコンテナー：スタックする
　　６４個の大きいファイルの中に管理
　ＬＥＯＦＳ：キーでとってこれる。追記型
　いらないファイル：コンパクション

大規模オブジェクトサポート
　キャパシティの均一化
　並列でライトできる：ネットワークＩＯ高く

マネージャー
　監視、管理
　　分散ハッシュテーブルのハッシュ値
　　ノードの状態管理
　　サスペンド：一時停止可能→レジューム

統合化されたストレージシステム
　　ほかに入れなくても構築できる

ベンチマーク
　　ＬｅｏＦＳのブログを作って、そこに詳細に書く予定

今後
　　２ギガ：大域足りない
　　　ゲートウェイにセカンダリキャッシュ
しつもんは
　　ＧｉｔＨａｂのメールアドレスから
Ｑ＆Ａ　なせＳ３－ＡＰＩ
　　　使わないＲＥＳＴなＡＰＩもある
　　　クライアント、独自ＡＰＩを使いたくなかった。
　ＲＯＭＡの関係
　　　あちらは閲覧、セッション管理

---

スマートテレビに遠隔操作を許す脆弱性－視聴率アップも思いのままですね！

テレビもウィルスソフトが必要な時代になったみたいです。

Samsungのスマートテレビに遠隔操作を許す脆弱性の情報
http://www.itmedia.co.jp/news/articles/1212/13/news032.html

によると（以下太字は上記サイトより引用）


脆弱性を悪用すると、テレビを遠隔操作してチャンネルを変えたり、マルウェアに感染させて乗っ取ることができてしまうという。


っていうことは、たとえば、テレビ局のディレクターさんが、自分の番組の視聴率が
低いからって、ウィルスまいて、自分の番組の放送時間になったら、いっせいに
チャンネルを変えることも可能なわけですね・・・

・・・視聴率アップも思いのままですね！

Cassandraの話 － 第五回 クラスト研より

きのうのクラウドストレージ研究会のメモメモ
まずは、Cassandraの話から

---

■Cassandraの話　　　講演者は、ひ・み・つ
（理由は会場に居た人しかわからないけど・・・）

ＫＶＳ

ビッグデータをどういう側面
　バッチ
　ストリーミング
　リアルタイム処理
適材適所で
Ｃａｓｓａｎｄｒａ
　　Ａｍａｚｏｎ　Ｄｙｎａｍｏ、
　　Ｇｏｏｇｌｅ　Ｂｉｇｄａｔａ
　　　　　のＫＶＳ
　　　→カラム指向型：複雑なデータ型
　　実績
　　ＤＣ間をまたぐことを含めて
　　　　　レイテンシ対策
　　活発なコミュニティの存在
　　　　　オープンソース
　　　　　商用サポート
　　　　　　　Ｃａｓｓａｎｄｒａベースのものも
　　　　　　　くらうでぃあん
　　Ｈａｄｏｏｐの連携
　　　　Ｂｉｇｄａｔａを入れる場所として
　　　　SPoFのないＨＡ構成
　　　　ＣａｓｓａｎｄｒａはＨａｄｏｏｐサポート
　　　　　　目玉がＣａｓｓａｎｄｒａになっているＨａｄｏｏｐ
　　　　　　ＭａｐＲｅｄｕｃｅが動く
　　　　　　　→プログラミングが必要
　　　　　　　　　　　→Ｈｉｖｅとのインテグレーション
　　　　　　　　　　　　使う人には使いやすい
　　　　　　　　　　　　ＲＤＢでないので、遅いときも
　　　　Ｃａｓｓａｎｄｒａのクエリーインターフェース
　　　　　　大規模用ではない
　　　　RHive：ＲとＨｉｖｅの連携
　　　　　　　Ｒの処理をＨａｄｏｏｐで分散できる
　　　　Ｓｔｏｒｍ連携
　　　　　　ＣＥＰ、イベント処理基盤
　　　　　　とてつもないイベント量：書き込み性能

なんでも入れられる箱　Ｃａｓｓａｎｄｒａ

Ｑ＆Ａ：HBaseの比較
ＣＡＰ定義の
　　ＡＰ型のＣａｓｓａｎｄｒａ（可用性重視）
　　ＣＰ型のＨＢａｓｅ

---

次はＬｅｏＦＳ（楽天のはらさん）

運用自動化、SDN(Openflow)などが、「OTとITの融合」に役立ってくるんですかね？

昨日、グローバル・ロールアウトとクラウドを書きましたけど、「何いってんの？」って感じですよね。
失礼しました。

今、ガートナーの２０１２年のハイプ・サイクルを見ています。

ここ

ガートナーがハイプ・サイクル2012年版を発表、ビッグデータはピーク期直前に
http://web-tan.forum.impressrd.jp/n/2012/10/04/13818


で、ちょっと面白そうな用語を、取り上げてます。

昨日は、グローバルロールアウト、今日は「OTとITの融合」です。

---

OTというのは、オペレーショナルテクノロジーだそうな。

ってことは、運用ですよね。

運用がIT化するということ？？

そういってすぐに思いつくのは、

chefやpuppetなんだけど・・・

クラウド環境を運用するとなると、chefやpuppetが重要なんでしょうね。
さらに、ネットワークの自動化やネットワーク操作のIT化となると、
SDNになり、OpenFlowを使って、標準化って言うことになるんでしょうか？

インフラエンジニアが注目される昨今、OTとITの融合もいろいろ言われそうです。

（この文では、他には使えんな・・・ ^_^;）

英語の教科書をiPadにしたら、不便じゃないでしょうか？

ここの記事

“泣き”の橋下氏　同情誘って支持集め
http://www.nikkansports.com/general/news/p-gn-tp3-20121210-1057942.html

選挙は、どうでもよくって、問題は、ここ

大阪市の公立学校では、来年度から、小１から英語の発音を中心とした学習法を実施する。教科書は年間約１５億円かけてｉＰａｄ（アイパッド）を導入するという。「これをやれば、高校卒業までに英語が話せるようになるんです


え～（＠＿＠！）
英語の教科書って、読み方書いたり、単語の意味書いたりして、結構書き込み
して、それが勉強になるんじゃないですか？

いや、

iPadを使えば、読んでくれるのは判ります。
iPadを使えば、すぐに意味を出してくれるのも判ります。

でも、自分で書かないから、逆におぼえないような気がするんですけど・・・


ってか、iPadを使えば、高校卒業までに英語が話せるようになるんですか？
それって、「○○するだけで、英語が話せる」っていうやつと同じだと、
思うんですけど。

私も、いろいろやったんですけど、まだ、英語話せません。
勉強法を変えるだけで、英語って、話せるんでしょうか？
やっぱり、勉強しないと（時間を掛けないと）だめなような気がします。

・・・どうなんでしょうかね？

コンタクトレンズサイズの高精細ディスプレイ

ここのスラッシュドット

Google Glass はもう古い? コンタクトレンズサイズの高精細ディスプレイ
http://slashdot.jp/story/12/12/11/010234


そのうち、目の前をカメラで写して、視力に合わせて補正、補正した画像を「コンタクトレンズサイズの高精細ディスプレイ」に送るようになるんだろうか？そうすると視力がいつくでも、補正して対応可能になりますな・・・さらにARを使って・・・とかになると、現実がわからなくなってくるう～

P.S　でも、コンタクトにする必要はなくて、めがねでいい気がするんだけどね・・・

グローバル・ロールアウトとクラウド

　最近、国家間の関係が不安定なことから海外戦略も柔軟な変更が求められている。
　例えば、中国、韓国との急激な国際関係の悪化から、日中、日韓に対する経営戦略
は、迅速な変更が求められている。

　このような海外戦略の変更に、俊敏に、迅速に対応するためには、情報システムも
経営戦略の変更に柔軟に対応できるグローバル（世界的）なロールアウト（運用展開）
を検討しなければならない。

　柔軟なグローバル・ロールアウトを行うためには、情報システムの資源であるデータ
やコンピューターが、迅速に変更・伸縮可能にならなければならない。これを実現する
のが、クラウドである。

　クラウドは、仮想化技術を利用して、データの移動や、処理を行うコンピューター
の変更が柔軟に変えられる。そして、拡張も容易である。
　したがって、今後、グローバルロールアウトが進むにつれ、クラウドの利用は多く
検討されることであろう。

　しかし、クラウドを導入すれば、グローバル・ロールアウトができるわけではない。
クラウドは、ハード、およびSaaSによる共通的なソフトの一部を提供するに過ぎない。
グローバル化を行うには、それらソフトのローカライゼーションやカスタマイズのほか、
参考文献[1]に示すような、グローバルなコード化も必要になる。
　これらのことを実現する方法論が、従来のEAに変わって出てくると思われる

参考文献
1. 佐木　俊史,製造業の効率的なグローバルロールアウトの進め方,
http://www.nec.co.jp/service/consult/pdf/leaders/2012/201202-01_leaders.pdf

-----------------------------------

いま、使い道が見つからないけど、なんかのときにつかえそうなので、
書いてみた。

PHP＋MySQLで、DBにイメージを保存、DBからデータ読み込み表示

PHP＋MySQLで、DBに一旦イメージを保存して、そのイメージを取り出して読み込み表示する
のに、いろいろ手間取ってしまったので、メモメモ。

---

■御題

denpa13.JPGというファイルがある。

これを、

$host = "localhost";
$user = "root";
$password = "password";
$database = "test";

のDBに、img_tblというテーブルを作成し、


なかんじでできているので、

（１）img_tblテーブルに
　　　id=2、data=denpa13.JPGのファイル内容（バイナリ）の形で保存

（２）img_tblテーブルから
　　　id=2、のdataをとってきて表示（=denpa13.JPGが表示されるはず）

---

■DBにイメージ保存

こんなかんじのPHP

<?php

//==============================//
//	データベースのための値	//
//==============================//
$host = "localhost";
$user = "root";
$password = "password";
$database = "test";


//==============================//
//	データを読んでくる	//
//==============================//
$filename = "denpa13.JPG";
$handle = fopen($filename, "r");
$contents = fread($handle, filesize($filename));
fclose($handle);


//==============================//
//	データベース接続	//
//==============================//
$con = mysql_connect($host, $user, $password)
  or die("データベースとの接続に失敗しました");
mysql_select_db($database)
  or die("データベースの選択に失敗しました");


//==============================//
//	データベースに保存	//
//==============================//
$esc_contents = mysql_real_escape_string($contents)
  or die("エスケープ失敗");
$query = "insert into img_tbl(id,data) VALUES (2,'" . $esc_contents ."');";
$result = mysql_query($query)
 or die(mysql_error());

//==============================//
//	表示			//
//==============================//
header('Content-Type: image/jpeg');
echo $contents;

?>

ファイル内容のイメージが表示される

---

■DBからイメージ取得
こんなかんじのPHP

<?php



//==============================//

//	データベースのための値	//

//==============================//

$host = "localhost";

$user = "root";

$password = "password";

$database = "test";



//==============================//

//	データベース接続	//

//==============================//

$con = mysql_connect($host, $user, $password)

  or die("データベースとの接続に失敗しました");

mysql_select_db($database)

  or die("データベースの選択に失敗しました");



//==============================//

//	SQL実行:ID=2を読み込む	//

//==============================//

$query = "select data from img_tbl where id = 2;";

$result = mysql_query($query) or die(mysql_error());

$row = mysql_fetch_array($result);





//==============================//

//	表示　　　　　　　	//

//==============================//

header('Content-Type: image/jpeg');

echo $row['data'];



?>

DB内容が表示される

---

■ちなみに、

はじめDBにキーも設定しないで、てきとうにやってたら、
blobのところにデータが入らず、たいへんだった。
DBは、まじめに作ろう・・・？？

SimStudent －バーチャルな生徒を教えていくソフト？（ゲームでなく研究用）

SimStudent Project
https://sites.google.com/site/simstudentprojectweb/

というのがあって、どうも、バーチャルな生徒を教えるソフトらしい

なんじゃそりゃ（＾＾）；

詳しくは、そのページにこんな風に書いてある。
（以下太字部分は引用）

What is SimStudent?

SimStudent is a computational model of human learning. Especially, it is a model of inducing rules by generating explanations of example problem solving steps. SimStudent allows us to study domain-general mechanisms of skill acquisition, which in turn provides us opportunities to advance theories of machine- and human-learning.


これを利用した教育に関する論文なんかも、いろいろでてる見たい。

ぶっちゃけ、

http://www.youtube.com/user/CMUSimStudent

でデモ見てもらったほうが・・・

わかるかなあ？？わかんねーだろーなー（＾＾；）

ファイルをＸＭＬで書き出し、読み込み時にＸＳＬＴを入手すれば困らない？

夢で、コンピューター関係の話をみるとき、
なんか、すごいこと思った！
と思っても、朝起きて冷静になると、
「うん、なんでそうなるんだ？」ってことありませんか？
（なぜか、「画期的な解法」→ご飯を食べるみたいな、意味不明なこと）

今日も、コンピューター関係の夢を見たんだけど、
これは、おきて考えたら、使えそうな気がしたので、メモメモ
（つまり、自分の夢の中の話）

---

問題

　複数のアプリケーション間でファイルを共有したいが、
　データベースは使えないとする。

　そこで、共通フォーマットにしよう！という話になったとき、
　そうすると、過去のプログラムの入出力を共通フォーマットに
　あわせないといけないし、将来もそのフォーマットに拘束される
　という話になったとき

---

夢の中での回答

　うん、そんなことしなくてよくね？
　ＸＭＬで書き出してもらって、

　アプリは読み込み時に、ファイルフォーマットが自分のモノかどうか確認し、
　自分のモノでなかったら、指定されたサイトからＸＳＬＴをとってきて、
　変換すればいい。

　たとえば、アプリＡのフォーマットＦＡの書き出しファイルを
　アプリＢで読み込みたいとき、アプリＢのフォーマットＦＢから、
　に変換するＸＳＬＴのＵＲＬを

　　ＸＳＬＴ置き場のサイト／ＦＡ＿ＦＢ.xslt

　のように、書き出しファイルから、わかるようにして、そこからＸＳＬＴを
もらえば、各アプリ自体は、フォーマットチェック＆ＸＳＬＴをダウンロード＆変換
ってことで、全部共通化できない？

と答えた

---

眠い・・・まだ、頭の中、寝てる？

地震でつながりやすいのはLINEって聞くけど

ゆかたんのツイート

そうだたのか："緊急時に電話回線がダウンしてもインターネット回線を通じて連絡を取ることができて、大事な人とすぐにつながることができるコミュニケーションサービスを作ろう、という想いを胸に(略)「LINE」というサービスをリリースしました" lineblog.naver.jp/archives/38024…
https://mobile.twitter.com/yukatan/status/277031287372541953


見て知った。あ、そういうことなんですか。

ちなみに、そのことが書いてあるブログはこれ

緊急時に備えてLINEで大切な人とつながっておこう
http://lineblog.naver.jp/archives/3802452.html

「LINE」PC版でも無料通話が可能に スマホ←→PC間で通話OK

へえ～ＰＣでも、Ｌｉｎｅって、できるんだあ・・・
（すみません、ぜんぜん判ってません　＾＾；）

ＰＣ版のＬｉｎｅ、ダウンロードしてみようかな・・・

「LINE」PC版でも無料通話が可能に　スマホ←→PC間で通話OK
http://www.itmedia.co.jp/news/articles/1212/07/news056.html

ガラッ－「フェデレーションにはお金が向こうからやってくる」っていうので、来ました（＾＾）ｖ

なに！

【本日の収穫】 SDNだけでは金の匂いがしないがIaaSとストレージを含めたフェデレーションにはお金が向こうからやってくる、すげぇ！ｗ でもフェデレーション屋はお金の使い道に慣れていないのが問題といえば問題ｗ
https://mobile.twitter.com/ibucho/status/276666694892679168


ほお、「IaaSとストレージを含めたフェデレーション」っていうと、お金になるんですか！
そういえば、なんか、ハードディスク売れてる！って聞くし・・・

で、フェデレーションって何？？？

ここの記事


「SDNはネットワーキングの革命だ」～国内初の専門のイベント「SDN Japan」レポート
事業者側・ユーザー側双方のパネルディスカッションも
http://cloud.watch.impress.co.jp/docs/event/20121207_577717.html

によると（以下太字は上記サイトより引用）


伊勢氏は、オープンクラウド実証実験タスクフォース（OCDET）での活動の経験から、離れた拠点間でOpenStackとCloudStackをつなぐのにSDN的なものが必要だが、それらクラウドコントローラとSDNを連携させるフェデレーション（オーケストレーション）の仕組みが必要になると解説した。


あ～「オーケストレーション」のことか（＾＾）ｖ

・・・ってことは、NIIのDodaiとかも、そういうのに入るんでしょうか？よくわかってない？？

つまり、オーケストレーションというと、儲からなくって、
フェデレーションっていうと、儲かるんですね！

よくわかんないけど、

　　　　承知しました。

これから、みんな、IaaSをつなぐものを

　　　　フェデレーション

っていいましょう。そうしたら、私もあなたも、


　　お金が向こうからやってきます！

ドコモ、ｉＰｈｏｎｅ導入検討も － 日経より

元は、ゆかたんのつぶやき

”「来年以降のｉＰｈｏｎｅ導入を考えざるを得ない」（ドコモ幹部）との声が上がっている”：ドコモ、契約数５年ぶり純減　ｉＰｈｏｎｅ導入検討も　　：日本経済新聞
https://mobile.twitter.com/yukatan/status/276849707442139137

で知ったけど、ここの記事


ドコモ、契約数５年ぶり純減　ｉＰｈｏｎｅ導入検討も
販売条件がハードル

（以下太字は上記記事より引用）


「来年以降のｉＰｈｏｎｅ導入を考えざるを得ない」（ドコモ幹部）との声が上がっている。


う～ん・・・
でも、DocomoがiPhone対応してくれると、Androidは捨てられるので、
iPhoneネイティブでアプリ開発できて、それはそれでいいかも・・

自閉症のためのiPhoneアプリ→外国語の単語覚えるのにいい？

主婦が開発　自閉症児の生活を一変させたアプリ
http://dot.asahi.com/aera/2012120400010.html


外国語の単語覚えるのにも使えそう・・・