開発見積もりって、合ってる？合ってないのにビッグデータを信じる？

あんまり、現役ホームレスの人が、
「金持ちになる方法」とか言っても、信じないですよね。

Fランク大学に入学、卒業した人が
「東京大学に合格する方法」って言っても、信じないですよね・・・

---

ところで！
SIerさんって、ビッグデータとかいう話で、
いろいろ、データ予測するツールや手法を出していますよね！

---

で、
SIerさんにとって、一番身近なデータ予測っていうのは、
開発見積もりですよね。
っていうことは、SIerさんは、ビッグデータ解析ツールを
売るくらいだから、さぞや解析は上手、
開発見積もりなんていうのは、ばっちり予測できるはずですよね。
その売り物のビッグデータ解析ツールがすばらしいのならば・・・

---

で、
開発見積もりって、合ってる？
合ってないのにビッグデータを信じる？

最新ARM内臓FPGAを使うには－CortexA9システムとソフトウェアの実装

１１月２１日にET2013に行って来た！ことは前に書いたけど、
そのときのセミナーのつづき。

今回は、

最新ARM内臓FPGAを使うには
CortexA9システムとソフトウェアの実装

について、メモメモ

---

実装の流れ、ハードとソフトの融合

アジェンダ
アルテラSoCソリューション
アルテラSoC開発環境
HWデザイン
SWデバッグ

アルテラSoCソリューション

広範な組組み込みプロセッサをサポート
　QuartusⅡ→Qsys内臓

・プロセッサ
　ARM　Cortex
　NIOSⅡ（ソフトコア）→これからも！
　　　→機能分散あり！
　フルコンパチンブルMIPS
　CortrxM1あろー
　NIOSⅡミッションクリティカル
　フリースケール
　→全部Qｓｙｓでできる

・OpenCL
・DSPBuilder
第一世代：ARM　CortexA9
第二世代：Arria10
第三世代：ARM CortexA53クワッドコア
ARM CortexA53　Stratix10
・高い性能＋高い消費電力効率
　６倍以上のデータ処理能力
　６４ビットプロセッサにおいて、高い消費電力効率

28nm製品概要、アルテラSoC製品
・デュアルコアARM CortexA9
　ARMエコシステム
　Qsysシステム統合ツール
　ARM DS5　アルテラエディションによる
　　CPU-FPGA協調デバッグ

システムアーキテクチャ
　プロセッサ：ハイエンドなプロセッサ
　　　→１GHｚちかく
　シングルコア
　ECC３２ビット
　FPGAサイドにメモリ
　内部バス１２８ビット
　Cycloneにも対応：ハードPCIs／トランシーバ

コンフィグレーションにおける究極の柔軟性
　FPGAはFPGA,プロセッサはプロセッサ別々できる
　プロセッサからFPGAもできる
　FPGAから立ち上げてプロセッサもできる

アルテラSoC開発環境
・デザインフロー２つ
　　FPGAデザインフロー
　　　　Quartus2、Qsys
　　ソフトウェアデザインフロー
　　　　ARMと連携取れる：今のJTAGデバッガー
・アルテラSoC
　　Linuxカーネル周辺ペリフェラル提供
　　→アルテラEDS
　　　HW/SWハンドオフ
　　　協調デバッグ

・アルテラSoCブロック図
　　HPS(ハードウエアプロセッサシステム）
　　FPGA

・HW設計
　HPS
　　どのペリフェラルつかうか

　HPS　FPGAインターフェース
　　どのインターフェース信号を使うか

　FPGA
　　従来どおり

　→Qsysで（ふつうのIPと同じかんじ）

インターフェース
　Altera：あばろんインターフェース
　　　＋
　ARM:AXI3,AXI4・・・
　→ネットワーク　on チップ：Qsysインターコネクト
　　無償のQuartusⅡの中に入っている

ハードウェア開発フロー
　　SOFを作る
　　自動でプリローダーを作る

ソフトウェア開発方法
　　SW開発
　　OS活用？／ベアメタル・商用OS?
　　OSベンダIDE？

→AlteraEDS

Linuxはただ
FPGA対応デバッグ方法：１ヶ月無償、その後有償

クロスドメインデバッグ
→ソフトウェアトリガー→ハードウェアの状況表示
　FPGAから、ソフトウェアへトリガー
　シグナルタップ

RocketBoard.orgのアルテラSoC情報


XWindowSDI version demo in Ubuntu

システム運用最前線・調査と事例に見る課題と解決策

１１月２２日　ZABBIX Conference 2013に行って来た！話のつづき

２つめの話

システム運用最前線・調査と事例に見る課題と解決策

日経BPの人

の内容をメモメモ

---

・情報システムの運用に関する問題意識
・調査に見る運用現場の課題と取り組み
・事例に見る課題解決

情報システムの運用に関する問題意識
・運用の負担は、増大の一途
　　→効率化、生産性向上が必要
・従来になかった運用業務：クラウド、スマホ
　　→多様化
・ITコスト削減／抑制要求

・運用起点のIT利用へ
　　→共通フレーム２０１３
　２００７年　要求定義をしっかりやりましょう
　２０１３年　運用が起点

調査に見る運用現場の課題と取り組み
・全国４０００社のユーザー企業→６２７社から回答
・IT関連コストの内訳
　　　ITコストの内訳
　　　　　運用管理・保守開発：７５％をしめる
　IT関連コストの今後の見通し
　　　　　新規開発を増やす４割
　　　　　運用開発・保守開発：増やすのは２割
　　　　　　　→減らす、現状維持８割
・システム運用の課題
　　ノウハウが属人化
　　特定のスタッフに業務かたより
　　人材育成できていない
　　担当者多忙
　→人材に関すること
・運用課題の取り組み
　　ノウハウの属人化：改善へ取り組み
　　人材育成：それに比べると、できていない
　　予算の確保は５割くらいが、取り組みたいけど取り組めない

課題への取り組み
１．コストの視点
２．仮想化・クラウドの視点
３．自動化・運用プロセスの視点

１．コストの視点
　運用管理コストの項目内訳
　　人件費　２２％
　　保守サポート
　　リース料
　　減価償却費

　かかりすぎと感じている
　　保守サポート
　　ライセンス料
　　リース料

　コストをかけられていない部分
　　人件費
　　業務委託費
　　外注費
　→いかに外部をつかっていくか

　コストを増やせない中での取り組み

２．仮想化、クラウド
　　サーバー仮想化：使っているのは半数を超えている
　　クラウドサービス：一部まで含めると、半数超えている
　　　　→大部分クラウドは少ない（一部４０％）

　　目的
　　　コスト削減
　　　クラウドはコスト削減以外は、安定稼動、DR（障害復旧）

　　運用の観点から
　　　サーバー仮想化：
　　　　障害の影響範囲確定が困難・・など
　　　　ただし、特にないが４割で一番多い
　　　クラウド
　　　　特にないが多いが、２割程度（少ない）
　　　　オンプレミスよりコストが高い
　　　　サービスの継続性
　　　　障害発生の制約

３．運用プロセス／自動化の視点
　自動化による効率化が求められている
　　　属人化の排除
　　　仮想化／クラウドのサービス感
　　　運用品質の向上
　　　　↓
　　　運用プロセスの見える化
　　　運用プロセスの標準化
　　　運用プロセスの自動化

　ツール
　　　監視ルーツとかはおおい
　　　運用手順の自動化はまだまだ

事例に見る課題解決の取り組み
　今求められるシステム運用
　　　忍耐、献身にみる「受身の運用」
　　　自ら問題を発見して、解決・改善していく「攻めの運用」
　　　　見える化・標準化・最適化・自動化・迅速化　
　運用作業をポイント化して生産性を把握
　自動化でサーバー利用申請プロセスを極限まで短縮
　Chefでサーバー構築、構成変更を完全自動化

まとめ

---

なかんじ・・

統計モデル その３ SEMによる単回帰

統計モデル その２　確認的因子分析のlavaan、SEMパス図のsemPlot
http://blog.goo.ne.jp/xmldtp/e/67d20f131517b9fb1b5e55963ecb72fa


の続き。授業の「統計モデル」の内容をメモメモ

---

構成概念とは

構成概念とは、直接観測することはできないけれども、
それを定義することにより観測された現象をうまく説明
できるようになる事柄

確認的因子分析
・測定しようとしている構成概念を定義
・定義に従って項目を作成
・データ収集
・構成概念＝因子の確認
・信頼性と妥当性

探索的因子分析
・構成概念を測定していそうな項目
・作成した項目データ調べる
・構成概念＝因子がわかってくる
・後付的に定義する
・信頼性と妥当性


因子分析
・変数間のまとまりを見つける方法
・相関の高い変数同士が同じ因子にまとまる

確認的因子分析
・各観測変数がどの因子の影響を受けているかを
　仮説としてモデル化する
・適合度で検討
・モデルが識別されている必要がある
　　結果でてこない→識別されていない

誤差
・誤差＝特殊因子＋測定誤差

因子負荷量
・因子から受けている影響の大きさ

因子分析と回帰分析
　　対応がある

カイ２乗検定の結果の見方
Number of observationsのほうを見る
Model test baseline modelではない
　→こちらは独立モデル。変数間に関係がないと仮定したもの
CFI：独立モデルにくらべ、どっちがいいか
loglikelihood：対数尤度
対数尤度の２つの差をとって２倍するとカイ２乗値
２＊対数尤度＋２＊自由度＝AIC

因子名：方向性をもっている
→わからないのはX

因子の向きの影響

カイ二乗検定
・きむ仮説は「モデルはデータに適合されている」

識別(identification)
・連立方程式の解：３つにわかれる
　　丁度識別：解ける
　　識別不能：すべてを満たすものはない
　　識別不定：

識別不能の方程式
　どちらが適切そうか？
　不適切さの程度を最小にするような組を見つける
　　→最小二乗法
　不適切さの程度が適合度と同等

丁度識別の確認的因子分析モデル
答えは１組
因子の分散＝１とする
適切さでもとめる

識別不定
求まらない

SEM(共分散構造分析）のしくみ
・標本データから計算される観測変数間の共分散行列S
・パラメータで表現された観測変数間の共分散行列Σ
・ｓとΣの差を小さくするパラメータの推定
（重複する部分はいれないでOK)

４つの場合
　　方程式の本数＞パラメータ数
なので、識別不能

２つの場合
　　方程式の本数３＞パラメータ数４
なので、解けない（識別不定）

誤差の分散

　S　：データがあれば求まる
　Σ：モデルがあれば求まる

S=Σでとく


なぜ因子の分散＝１、誤差からの係数＝１としたか
→逆に１にしなかったとしたら・・・
方程式を立ててとこうとすると・・・・
パラメータが増えて、方程式のほうがすくなくなる
ので、解けない
→そこで、１にした

・・・って、していいの？
因子負荷量のあるところ、因子の分散が出る
因子は単位がない
そこで、因子の分散１

確認的因子分析
・V(f)を１に固定
・因子負荷量の１つを固定する
らばーんは、後者：１においたところ点線
→そこから標準化

適合度と自由度
・連立方程式に良く当てはまる解であるほど、
　適合度は高くなる
・丁度識別のとき：完全な適合になる
　　→適合度は検討できない
・識別不能のとき：適合度を検討できる
・識別不定のとき：適合度は検討できない

自由度
・自由度＝連立方程式の本数－パラメータ数
・自由度０：丁度識別
・自由度正：識別不能
・自由度負：識別不定

統計モデル＝データ
　　適合度はモデルとデータの適合の度合い

モデルを変更すると
　Sは変わらない（データは変わらない・方程式の右辺は変わらない）
　Σは変わる（モデルは変わる・連立方程式の左辺は変わる）
　モデルを変更すると、SとΣが近くなる可能性があるので、モデル比較を行う

モデル比較
・複数のモデルの中で、もっとも良いモデルは何か

倹約的なモデル
・SとΣを近づける
　　→パラメータをいっぱい入れればいい
　　→そのデータにしか当てはまらなくなる
　　→頑健なモデル：より少ないパラメータで
・RMSEA,AIC,BICは倹約的な考え方を含んでいる

SEMによる単回帰分析
・単回帰モデルのΣ（共分散構造）
　　→丁度識別で解ける
・切片はどこにいったの？
　　SEMで切片を推定するには、
　　平均・共分散構造分析を使わないとできない

因子分析：共通性→回帰分析：決定係数
誤差の分散＝Variance
観測変数の分散＝共通性＋独自性＝１

Rで実行

library(lavaan)
model1<-'rating~complaints'
fit1<-sem(model1,data=attitude)
summary(fit1,standardized=TRUE,fit.measures=TRUE,rsquare=TRUE)



SEMによる重回帰分析

Rで実行

modelがちがう
ほか同じ

３つ観測変数があって、共分散構造分析
a1,a2,V(e)

飽和モデル：自由度０
　確認的因子分析、単回帰分析、重回帰分析は
　　飽和モデル

良いモデル
・適合度がいい場合
・決定係数がいい場合
決定係数；説明できない部分がどれくらい残るか

適合度はいいが、決定係数小さい
　→モデルで説明できる。よくある
決定係数がいいが、適合がわるい
　→あまりないけど

R
lower対角行列の下だけ入ってる