12.6.モデルの妥当性確認：Quantitative System Performance

「12.5.2.Ｉ／Ｏのサービス要求時間の見積り（２）」の続きです。（目次はこちら）

12.6.モデルの妥当性確認

　一旦、全ての入力についての値が決まったならば、モデルはパートⅢで記述したように拡張されたパートⅡに記述したアルゴリズムを用いて評価することが出来る。この評価は個々のクラスについて、システム・スループットと応答時間の、そしてデバイス滞在時間と利用率と待ち行列長の、見積り値をもたらす。
　モデルの妥当性確認は、これらの見積り値を、対応する数量の測定値と比較することを含む。モデルは、それが、いくつかの（あるいは多くの）測定期間で、モデルによって生成された見積り値と測定値の差が充分小さいことを示すことが出来た時に「妥当性を確認された」と考えることが出来る。
　モデルの妥当性確認の際に使用する観測期間を選ぶ際に、そのモデルで調査するシステム変更のタイプを見据えておくことは望ましい。もしモデルが負荷強度増加の影響を調査するのに用いられるのならば、モデルは負荷強度の範囲を表す観測期間で妥当性確認されるべきである。同様に、主メモリのサイズの増加が考察されるべきであるならば、いくつかの異なるメモリ・サイズでモデルの妥当性を評価することが都合がよい。これは多くの方法ですることが出来るであろう。アクティブな客の数を人為的に低く保つために（よってメモリを充分に活用したいようにするために）スケジューリング・パラメータを調整することが出来るだろう。あるいは、メモリの一部を観測期間の間、ディセーブルにすることが出来るだろう。
　モデルの見積り値と測定値の間の一致はいくつかのファクタに依存する。単一クラス・モデルは、その入力パラメータの値が測定データから、複数クラス・モデルの場合よりも高い精度で決定出来るので、複数クラス・モデルよりも高い精度で妥当性確認出来る。若干の性能尺度は他のものよりも容易に一致させることが出来る。複数クラス・モデルの妥当性確認の際、全てのデバイスでの全てのクラスの振舞いを正確に反映させることはめったに出来ない。明らかに、モデルに、重要な（たいていは最もよく使われる）リソースの振舞いを最も正確に表現させるようにすることが望ましい。同様に、モデル化スタディにおいて客のあるクラスに特別に興味があるならば、モデルの妥当性確認は、そのクラスの性能尺度について特別の強調をすべきである。表１２．３は妥当性確認の間のモデル精度の合理的な期待値についての粗いガイドラインを示唆している。

表１２．３　妥当性確認における合理的な許容範囲

　留意すべき重要な点は、待ち行列ネットワーク・モデルは通常、性能の絶対値よりも性能の変化の割合のほうをより正確に予測する、ということである。例えば、システムにバッチ作業負荷を追加した場合の会話応答時間への影響の予測について考察しよう。元々のシステムで測定された応答時間は６秒であり、ベースライン・モデルは５秒の応答時間を示し、２０％以内で妥当性確認されていたと仮定しよう。もし修正されたモデルが、バッチ作業負荷追加後に１０秒の応答時間を予測したとすれば、モデルは応答時間が２倍になるのを予測したので、我々は修正されたシステムでの応答時間として（１０秒より大きい）１２秒を予想すべきである。

　しばしば、よく考えられよく練られたモデル化スタディにおいても、最初のモデルは妥当性確認の基準を満たさないことがある。そのような場合、入力パラメータ（特にサービス要求時間）を見積もる再に用いた仮定の合理的な修正を試みるべきである。例えば、どのクラスのスループットが過小評価されているかに注目することにより、解析者はさまざまなクラスにオーバヘッドをどれだけ帰着させるべきかについて再評価に導かれるかもしれない。この見直しは、モデルの妥当性が確認出来るまで繰り返される。この段階で数回の繰返しを要求されることはまれなことではない。しかし、入力の見積もりのどのような技法も受入れ可能な結果をもたらさないこともある。これは、システムの振る舞いのある重要な局面がモデル内に取り込まれていないことの兆候である。多くのそのような場合、モデルにより詳細を追加することで精度を改善することが出来る。

　モデルの妥当性確認に成功することの重要性を理解することは重要である。もし測定データからの情報がモデル入力の値を決めるために使用されるならば、モデル出力が測定データと一致しているという事実は、一見したところ、驚くべきことではない。しかし、少し考えれば、妥当性確認の成功は、モデルを確立する際に用いた多くの仮定が考察中の特定のシステムの状況において受入れ可能であるという顕著な意味をもたらす。妥当性が確認されたモデルによって、我々は次章の主題である、修正解析と性能予測に進む準備が出来た。

「12.7.まとめ」に続きます。