ウィリアムのいたずらの、まちあるき、たべあるき

ウィリアムのいたずらが、街歩き、食べ物、音楽等の個人的見解を主に書くブログです(たま~にコンピューター関係も)

まずは、Oracleのぼやっとした話。

2016-05-10 20:54:11 | Weblog
5月10日、午後からは、Oracle Database Connect 2016を途中まで聞いてきた
はじめのほうのメモメモ




■ごあいさつ CEO
動画を出そうとしていた
アメリカズカップ
ソフトバンクチーム4位、オラクルは・・・
会場満席
JPOUGと日本オラクル共催、10拠点以上にライブ配信

・設立37年ん 日本31年
 30年間で1200倍
 1985年 日本オラクル DB市場 25億円市場
 第二世代 1994年        2000億円
 第三世代 2004年        1兆3000億円市場
 第四世代 2016年 JPOUG 日本初イベント

・日本のマーケットシェア 49%
 1府13省庁、47都道府県、20政令都市、99%の東証一部市場で利用されている

・POCO ぱわーおぶくらうどばいおらくる
 第三世代以降 無分別知 ソフトとハードの境界がない
 リアルに Exadata マーケットシェア50%:ソフト&ハード
 Oracle チップからサーバーまですべて

・Oracle cloud Six Design Goal

・オラクルのクラウド
 オンプレミスで培った技術:高可用性

・ホアン ロアイザ
 ミッションクリティカルの責任者

・みさわさんの後任 クラウドの石積さん

■ごあいさつ 石積さん
・37
 Oracleデータベースできてから
 ラリーの法則:データため込むほど、あがるよ
 安全性、高可用性
 すべてにおいて一番の能力

 Oracle技術部
  エンジニアの技術力が高まるほど、価値を発揮する


・オラクル もっとも人気ある
 データウェアハウスでも
  高い技術テクノロジーでもリーダー
 継続的かいぜん
  主要な機能
  イノベーション
・アジェンダ

・スケーラビリティー
 行レベルロック
 Bツリー索引
 読み取り一貫性
 パラレルサーバー
2000年代
 RAC
 インサイト
 索引テーブル
2010年代
 Exadata
   ;

・Exadata
  ソフト、ハード、統合
  スケールアウト
 すべてを統合

 2008年の登場以来、数千ものミッションクリティカル環境
 パブリックSaaSクラウド

 Exadata X6-2
  22コアのプロセッサ
  最新のフラッシュ PCIe Flash
  DB I/Oseinou wobureikusuru- 
   オールフラッシュIOより、おおはばにいい
  ソフト
   smart analytics
   smart storage
   smart OLTP
   smart Consolidation

  In-memory フラッシュの中で
  OLTP Smart Fusion Block Transfer
差は大きくなっていく

・Oracle Database In-Memory
  リアルタイプアナリティクス
  ローカラム一貫したものに
  ベクター処理
  ディスクに書かない 処理早い

 プレビュー
  リアルタイム・アナリティクス
  パフォーマンス
  容易な実装

 今までで最も早いお客様への導入
 (つぎがマルチテナント)

・Spark M7
 32コア
 In Memoryの組み込み
 キャパシティ in シリコン

・データベース シャーディング
 RACアプリケーションに透過的
 NoSQLでは簡単
 同じテクノロジをOracleで

 プレビュー
  シャーディングテーブルを追加
  クエリプロセッサーもある
  レプリケーションもOK
  異なる地域における

・高可用性
 トランザクション参照整合性
 アクティブデータガード
 フラッシュバック
 オンラインDDL【インデックスをオンラインで}
 zero data loss リカバリー アプライアンス
  大きな変更管理:どの時点でも バックアップエージェントいらん
  変更点をリカバリーアプライアンスへ
 オフロード
 リカバリーアプライアンス:世界中に展開

・高可用性
 エディションベースの再定義
 ダウンタイムなしでアップグレード
  sales forceで使っている

 アプリケーションコンティニュティ

・アナリティクス
 データマイニング、OLAP
 SQLパターンマッチング

 ビッグデータアプライアンス
  Hadoop,Spark
インフィニバンド接続

・セキュリティ
  権限とロール
  データ暗号化

・リアルアプリケーションセキュリティ 12Cで
  データがアクセス
 データベースファイヤーウォール
 プリビリッジアナリシス
  必要な権限
 リダクション
  返り値をマスクする
 キーボルト
  暗号化キー

・開発について
 SQL、ビュー
 PL/SQL、トリガー
 テキスト検索
 テーブルファンクション
 Native JSON,REST,Node.js,

・JSONテクノロジー
 JSONオブジェクトも使えるし、
 SQLでも
 JSONデータのどこでもインデックスを作れる

・管理
 エンタープライズマネージャー
 v$
 マルチテナントデータベース
 クラウド:管理いらなくなる
 ぷらがぶるデータベース
 バーチャルマシンは仮想マシンの管理が増加する

 プレビュー
  RDB毎にメモリ使用量の管理

前例のない
 容易さ
 柔軟性
 費用の節約
 Time to Market

妥協のないクラウド

オラクルのPaaS戦略
 ハイブリッドを通じて完全なポータビリティ
 Exadata クラウドサービス
  プロビジョニング
  毎月の判断

統合
 データベースリンク
 2フェーズコミット
 XAトランザクション
 ビッグデータSQL

様々なデータモデルとpolyglotをサポート
 マルチモデル(リレーショナル、XML,JSON、テキスト、グラフ)
 ビッグデータSQL

結論
 Oracleは継続的なイノベーションによりリーダーであり続けている

■パネルセッション
・連結会社向けシステムをプライベート・クラウド環境で構築
 Oracle Databaseを徹底的に使い倒す
・紹介
・データベース統合アプローチ
  大量に存在するDBサーバー
  利用ユーザー増加に伴うレスポンス遅延、オープン遅延
・方針
 1.同一プラットフォーム
 2.複雑な処理、データ爆発に耐えられる環境
・考慮したポイント
 1.既存システムのパフォーマンス維持
 2.アクセス制限によるデータ保護
 3.DBノードの完全分離
 4.マシンパワーに頼ったアプリケーション設計の禁止
 5.ダウンタイムの最小化
→すべては良いシステムをお客様に提供するため

・統合のステップ
 STEP1 スキーマ統合
  パーティショニング化
 STEP2 マルチラック化
  ASMディスクグループ
 STEP3 マルチテナント化

・連結会社向け販売管理システム
 さらなる最適化を目指し、容量重視型の統合DB

・安定したサービス提供のためのDBA組織化

結果
 目標1コスト品質最適化→1/15に
 目標2ハードウェア→ソフトウェアコスト削減
 目標3IT全般統制→運用と開発分離

■JPOUGとホアンさん
・リリースにあたり最も印象に残っているバージョンは

どれもがんばった。それぞれ子供
一番好きな子供を聞くようなものだけど
 最初の子供 6
 一番下の子 12c

新機能のアイデアはどこから、どれくらい

いろいろある
 お客様(違うこと言う)→くりかえし入ってくるとき
 内部エンジニア
 学術界・競合
長い時間をかけて

開発体制、開発プロセス
ツールは社内開発
特殊なものから始めた
 専門家が育ってきた
 どんどん細分化

クラスタ1つでエクサバイトに行くのはいつごろ?
・ペタでラック
・スケーリングのチャレンジは過去ほど高くない
・ペタバイトで満足してる
・おそらくは10年以上?膨大な資金がいる
・シャーディングも役に立つ
・ポリグリッド

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

MySQL Document Store(文書型JSONでMySQL)とか聞いてきた

2016-05-10 17:50:13 | Weblog
今日(5月10日)MySQL Innovation Day Tokyoに午前中行ってきて、

を聞いてきたのでメモメモ(ちょっとはじめ、遅れたので動画の前はわからない)



■イベント概要紹介
動画

MySQL Document Database
RDBだけでなく、ドキュメントも
2007年くらいからNoSQL
Xプロトコル Googleのプロトコルバッファで実装

MySQL 5.7 GA
・多くの機能が実装
・レビュー
  5.6の3倍の速度
  レプリケーション改善グループレプリケーション:プラグインで予定

MySQL5.7 JSONサポート
・スキーマレスで入っている
・テーブルからもJSON作れる

グループレプリケーション
・まだGAにはなっていないけど、プラグインで
・マスターサーバーの冗長化できる
・管理:オープンソースもあるけど・・・
  レプリケーションモニターが使える
  マルチソース、サーキュラー、トポロジーを容易に管理


MySQL Document Store
・Xプロトコル
・X Dev API
・MySQL Shell→メインのCLIになる
 Xプロトコル
 Java pythonも
・接続方法
  スタンダード
  memcached
 →X Protocol
・セキュリティ

X Protocol
・非同期APIサポート
 パフォーマンスがいい
 プッシュ通知
 エラー処理の設定
 シャーディング:現状のコネクタではまだ
 オープンスタンダード:カスタマイズ性も優れている

MySQL XDevAPI
・ステートレス
・CRUDできる
・JSON
・MySQL Connector (nodeJSも)
・ドキュメント、リレーショナル両方

MySQL Shell(GAではない)
・まだまだ不完全だけど・・
・Pythonを使う場合は、コネクターが出ていないのでMySQL Shellで
・MySQLのプロビは、このAPI経由でできる→Dockerリクエスト
・Javascript流しこめる、パイプにつなげる

MySQL Document Store
・スキーマレス・リレーショナル・ハイブリッド
・ACIDトランザクション(inno DBでうごいているので)

本日のセッション

■Key Note Introducing the MySQL Document Store
 マイクさん&同時通訳 梶山さん
・新しい機能
 ハイブリッド型(ドキュメントとRDB)

・MySQLはRDBとして高い品質:ACID
 SQL:複雑な処理も、分析も
 非常に多くの環境で利用:どこにでも、情報も簡単に、拡張性の実績

・ドキュメントデータベース
 RDBはすべてのアプリケーションというわけではない
 スキーマを定義しないでというニーズ
 高い柔軟性、高い信頼性、uptime
 JSON
 アプリケーションの構造に
 node.js,python

・リレーショナルとドキュメント
 1つの製品にまとめていく→MySQL

・基礎:MySQL5.7 JSONデータタイプ
 SQLのよさをひきつづき
  JSON向けのSQL関数
  正式なデータ型
  基本的には作りこんでいるはず
  演算子

・GeneratedColumns(生成列)
 演算したものを作る→インデックスも作れる
 生成列→alter table→index
 JSONデータに対してインデックス作れる

・生成列
 STORED(格納)
  参照は早くなる
  テーブルの再作成  
 VIRTUAL
  格納速くなるが
  参照遅くなる

 インデックスはバーチャルに制限

・ドキュメントの使い道
 テーブルにデータ、ドキュメントJSONで出力
  関数を用意してある
  ときどきぐちゃくちゃになるかも・・・きれいにマッピングできない

・JSONドキュメントコンテナーとしてのMySQL
  1つの列にJSON型を使う→array等、テーブルマッピング困難だったものに対応できる

・一部分だけをスキーマレス、ほかはスキーマ
 JOINして1つの結果→シンプル

・The X DevAPI
 SQLが複雑すぎる
 開発者が必要としているメソッドを重ねる
 SCRUD(select+CRUD)をするAPI
 非同期処理
 O/Rマッパーでなく、独自のAPI

・ドキュメントのあつまりコレクション
 →コレクション操作できる
 後ろにメソッドを重ねる(フリューエント)
 ドキュメントデータの削除
 X Session
 セッション使わない操作もできる
 テーブルに対する操作も用意
 いまDMR(開発途上版)

・5.7.12
 ドキュメントストアプラグイン(Xプラグイン)
  →ひつようなら有効に
 プラグインより
 MySQL 8 新しい機能はプラグイン

 MySQLシェル
 3つの接続部品

 APIのポイント
 開発言語にあったAPI用意

 ぜひ、フィードバック

・Connector/Node.js 1.0
 あたらしいもの
 非同期への処理も対応

・MySQLシェル
 Python、Node.js
 開発用だが、運用・管理も
 
・MySQL プラグイン for Visual Studio

・ドキュメント用意してある
 サンプルプログラム

■MySQLドキュメントストアの紹介

・ドキュメントストア
 JSON→スキーマレス
 XDEV API、X protocol
 mysqlxというデーモンが入るとxプロトコルしゃべれる

・X dev API
 X pluginを有効にすることで
 NoSQLライク Javascript,,pythonから処理

・X プロトコル
 何回かも?Googleのプロトコルバッファ読んだ
 大量に小さな処理
 シャーディング
 非同期処理
 パイプライン処理:まとめて複数のコマンドを一気に投げられる

・XProtocol
 ネゴシエーション
 オーセンティフィケーション
 実行

 なにがいいの:非同期
 失敗したら、すべて失敗など、エラー処理もカスタマイズできる
 →デフォルトは失敗しても無視する

 ネスティングもできる

・X Protocol
 圧縮はもう少し:ただしプロトコルバッファはすでに無駄を排除している
  →サイズ圧縮

・MySQL Shell 概要
 mysqlsh
 Jacascriptモード
 \pyでpythonモードに
 \sqlでSQLモードに
 Visual studioとの連携も将来的には

 標準的な言語で

・機能
 クラッシックは3306ポート、他は33060
 接続を登録できる

・開発API
・バッチモード
・出力フォーマット

・セッション
 コネクションを作って共有できる

・バックワードコンパチビリティ
 3306で接続 クラッシックでアクセス

・制約
 MySQLシェルはCLIでないので、外部のシェルコマンドは呼び出せない

・将来
 グループレプリケーションの設定(MySQLパブリック)
 ユーティリティ→MySQL Shellでできるようにしている
 Development API

・デモ
 Twitter→JSON→indexつけてDBへ

・参考 プロトCでカスタマイズできる



  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

マイナンバーまたシステム遅延

2016-05-10 07:50:56 | Weblog

http://itpro.nikkeibp.co.jp/atcl/news/16/050201292/
マイナンバーカード管理システムの遅延、5月2日も再び続出

このまえ、治ったんじゃなかったんだっけ?

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする