SDM公開講座「現代ソフトウエアエンジニアリングの俯瞰図」
の第12回
ITプロジェクトのベンチマーキング
~ソフトウェア開発定量データとその活用~
を聞いてきたのでメモメモ
■1.定量データとベンチマーキングの必要性
定量データの必要性
・定量データが集まれば、こんな活用ができる
ユーザー
経営層:IT投資
業務・情報システム部門
プロジェクト管理者
ベンダー
経営層
PMO・品詞保証部門
PM,PL
プロジェクト活動における定量データの活用
・データ収集からプロジェクトへのフィードバックの流れ
組織活動
プロジェクト活動
→ベンチマーク作成:データ白書のようなもの
SECの取り組みとデータ白書の目的
・定量的アプローチによる科学的マネジメントの普及拡大
物差しとしての精度を高めていく
データ白書2010-2011の構成
・代表的な要素
規模、工数、後期、生産性、信頼性
・プロジェクトの特性(プロファイル)
開発種別、開発言語、アーキテクチャ、業種、
開発ライフサイクルモデル、プラットフォーム
→値ごろ感がわかりたい
SECセミナーのアンケート結果
・プロジェクトデータを収集している:76%
・プロジェクトデータを活用している:53%
→ちゃんと活用できていない
収集した定量データ活用の期待とギャップ
・期待感(ひとつの例)
・収集したプロジェクトデータについて、
代表的な要素間には相関関係がある
・2つの要素の関係が、回帰分析により定式化される
↓
・現実とのギャップ
相関は低い
ばらつきが大きく、型よりもある
プロジェクトの特性に合わない
→そもそもデータを集めてもムダ?
統計分析をしても、赤字になる(ぶれ幅おおきい)
今回のポイント
・SEC「ソフトウェア開発データ白書」を例にして
ベンチマーキング
【参考】ITプロジェクト性能ベンチマーキング
→なにをするのか、まとめられている
→経済産業省ソフトウェアメトリクス高度化プロジェクト
■2.データ白書の見方とポイント
白書の表記と見方の留意点
・データの分布を視覚的に捕らえることができるグラフ
→箱ひげ図
99.7%入っていれば良い・・・標準偏差
5つのM(品質工学)
ソフト→正規分布しない→箱ひげ図
変なはずれ値があっても、影響を受けない
・対数変換による分析
→対数変換すると、正規分布になるらしい・・・
→線形性が見えてくる
・基本統計量、プロファイルデータの見方と留意点
中央値と平均値をとっている
→平均値ははずれ値に左右される
収集したプロジェクトデータの分布について
・FP規模:1000FP以下が7割弱
・SLOC:50KSLOC以下が多い
・工期:14ヶ月以下
:
:
工程別の分析について(8章)
工数比率
・開発工程を実施するのに必要な作業工数の比率
工期比率
・各開発工程を実施するのに必要とされる期間
→お客さんが言われたとき、目安になる
テスト工程別のテストケース数と検出バグ数
結合テストケース数は総合テストケース数の約4倍
テスト工程別のテストケース数と検出バグ数
「規模あたりのテストケース数と検出バグ数」のデータ活用
ゾーン分析
生産性の分析について(9章)
層別による分析
月あたりの要員数
信頼性要求レベルが高いほうが生産性は低い傾向にある
予実分析
計画と終わった段階
工期:中央値0(=納期は守る)
工数:中央値2.9、-3~+24%で変動
ただし、3倍越えのはずれ値も!
■3.定量データの活用事例
ソフトウェア開発ライフサイクルからみた活用事例
見積もり:規模、工数、工期のデータ活用
・データ活用の狙い
50%信頼幅、95%の下限値
・いきなり機能分割→類推見積もり
・見積もり:ボトムアップ見積もり
パラメトリック見積もり
1000FP→40人月
じゃあ、4000FPだったら4倍?
ちがいます。
工数=AX(FP規模)**B B=1.19
指数的に上がる!!
工数の見積もり
・留意点
規模が大きくなると、「規模の増加率以上に工数が増大する」
・見積もりがでたら
→妥当性を確認:ベンチマーキング
「工数と工期」
・工期は工数の3乗根におおむね比例
工期=AX(工数)**0.31
JUASだとA=2.54 125人月で1年
でも、これでは受注できない
・留意点
工期短縮には限界がある
12ヶ月を工数短縮しても5ヶ月
→失敗しても、5ヶ月
・分析の切りくち
→Javaのほうが.Netより生産性悪い
・規模、工数、工期からの適切な計画案の策定の事例
コントロール「残作業の見積もり」
基本設計工程は全工程の15-30%、中央値は23%
基本設計で、1.5ヶ月が2ヶ月かかったとする
→全体の比率は?
ベンチマーキングとして使う
評価
・規模の小さいプロジェクトは生産性のばらつきが大きく
PMスキルの分布もばらついている
・規模の大きいプロジェクトは、生産性が低い傾向と同時に
PMスキルが高い傾向が見られる
■4.実践的活用をサポートするツール
プロジェクト診断支援ツール
Webサイトにデータ白書がそのまま載っている
スタンドアロン型プロジェクト診断ツール
自社のデータをいれる
(Webの)プロジェクト診断支援ツールに渡せる
PowerPointもある
<<おまけ>>
・最近のデータ白書
中小企業を考慮
小規模
工程別の生産性分析
特定分野の経験:要員配置
信頼性
信頼性向上
開発手法
の第12回
ITプロジェクトのベンチマーキング
~ソフトウェア開発定量データとその活用~
を聞いてきたのでメモメモ
■1.定量データとベンチマーキングの必要性
定量データの必要性
・定量データが集まれば、こんな活用ができる
ユーザー
経営層:IT投資
業務・情報システム部門
プロジェクト管理者
ベンダー
経営層
PMO・品詞保証部門
PM,PL
プロジェクト活動における定量データの活用
・データ収集からプロジェクトへのフィードバックの流れ
組織活動
プロジェクト活動
→ベンチマーク作成:データ白書のようなもの
SECの取り組みとデータ白書の目的
・定量的アプローチによる科学的マネジメントの普及拡大
物差しとしての精度を高めていく
データ白書2010-2011の構成
・代表的な要素
規模、工数、後期、生産性、信頼性
・プロジェクトの特性(プロファイル)
開発種別、開発言語、アーキテクチャ、業種、
開発ライフサイクルモデル、プラットフォーム
→値ごろ感がわかりたい
SECセミナーのアンケート結果
・プロジェクトデータを収集している:76%
・プロジェクトデータを活用している:53%
→ちゃんと活用できていない
収集した定量データ活用の期待とギャップ
・期待感(ひとつの例)
・収集したプロジェクトデータについて、
代表的な要素間には相関関係がある
・2つの要素の関係が、回帰分析により定式化される
↓
・現実とのギャップ
相関は低い
ばらつきが大きく、型よりもある
プロジェクトの特性に合わない
→そもそもデータを集めてもムダ?
統計分析をしても、赤字になる(ぶれ幅おおきい)
今回のポイント
・SEC「ソフトウェア開発データ白書」を例にして
ベンチマーキング
【参考】ITプロジェクト性能ベンチマーキング
→なにをするのか、まとめられている
→経済産業省ソフトウェアメトリクス高度化プロジェクト
■2.データ白書の見方とポイント
白書の表記と見方の留意点
・データの分布を視覚的に捕らえることができるグラフ
→箱ひげ図
99.7%入っていれば良い・・・標準偏差
5つのM(品質工学)
ソフト→正規分布しない→箱ひげ図
変なはずれ値があっても、影響を受けない
・対数変換による分析
→対数変換すると、正規分布になるらしい・・・
→線形性が見えてくる
・基本統計量、プロファイルデータの見方と留意点
中央値と平均値をとっている
→平均値ははずれ値に左右される
収集したプロジェクトデータの分布について
・FP規模:1000FP以下が7割弱
・SLOC:50KSLOC以下が多い
・工期:14ヶ月以下
:
:
工程別の分析について(8章)
工数比率
・開発工程を実施するのに必要な作業工数の比率
工期比率
・各開発工程を実施するのに必要とされる期間
→お客さんが言われたとき、目安になる
テスト工程別のテストケース数と検出バグ数
結合テストケース数は総合テストケース数の約4倍
テスト工程別のテストケース数と検出バグ数
「規模あたりのテストケース数と検出バグ数」のデータ活用
ゾーン分析
生産性の分析について(9章)
層別による分析
月あたりの要員数
信頼性要求レベルが高いほうが生産性は低い傾向にある
予実分析
計画と終わった段階
工期:中央値0(=納期は守る)
工数:中央値2.9、-3~+24%で変動
ただし、3倍越えのはずれ値も!
■3.定量データの活用事例
ソフトウェア開発ライフサイクルからみた活用事例
見積もり:規模、工数、工期のデータ活用
・データ活用の狙い
50%信頼幅、95%の下限値
・いきなり機能分割→類推見積もり
・見積もり:ボトムアップ見積もり
パラメトリック見積もり
1000FP→40人月
じゃあ、4000FPだったら4倍?
ちがいます。
工数=AX(FP規模)**B B=1.19
指数的に上がる!!
工数の見積もり
・留意点
規模が大きくなると、「規模の増加率以上に工数が増大する」
・見積もりがでたら
→妥当性を確認:ベンチマーキング
「工数と工期」
・工期は工数の3乗根におおむね比例
工期=AX(工数)**0.31
JUASだとA=2.54 125人月で1年
でも、これでは受注できない
・留意点
工期短縮には限界がある
12ヶ月を工数短縮しても5ヶ月
→失敗しても、5ヶ月
・分析の切りくち
→Javaのほうが.Netより生産性悪い
・規模、工数、工期からの適切な計画案の策定の事例
コントロール「残作業の見積もり」
基本設計工程は全工程の15-30%、中央値は23%
基本設計で、1.5ヶ月が2ヶ月かかったとする
→全体の比率は?
ベンチマーキングとして使う
評価
・規模の小さいプロジェクトは生産性のばらつきが大きく
PMスキルの分布もばらついている
・規模の大きいプロジェクトは、生産性が低い傾向と同時に
PMスキルが高い傾向が見られる
■4.実践的活用をサポートするツール
プロジェクト診断支援ツール
Webサイトにデータ白書がそのまま載っている
スタンドアロン型プロジェクト診断ツール
自社のデータをいれる
(Webの)プロジェクト診断支援ツールに渡せる
PowerPointもある
<<おまけ>>
・最近のデータ白書
中小企業を考慮
小規模
工程別の生産性分析
特定分野の経験:要員配置
信頼性
信頼性向上
開発手法