この段階ですることは実際にユーザーに評価してもらうことだ。ここではユーザーの視点からほぼ完成品と同様のふるまいや働きが想定されたとおりに動くレベルのプロトタイプやモックアップ、試作品を用いる。尚、ここでの評価で問題があった場合には必要な段階までためらうことなく戻る。この段階における評価はより自然な利用文脈を考慮し、実際のユーザーのモチベーションに沿ったタスクによって評価を行う。デザイン作業の最終段階ということもあり、社内協力者などではなく、実際のユーザーによる評価が不可欠となる。操作のパフォーマンスとしてユーザービリティも測定し、評価する。ここで行う評価の軸は感情的な評価であり、サービスを使うことがうれしい体験として受け止められているかを測定する。
目的
- 想定された利用文脈に基づいて、実装レベルの制作物に対してユーザー参加による評価を行う
- ユーザビリティおよびUXに関する指標を定め、実装レベルのプロトタイプが目標となるUXを実現できているか検証し、デザイン作業を終了するかを判断する
手順
手順1. 評価に用いる制作物の確認
ユーザー参加の評価に用いる制作物を確認する。ここで実装レベルにまで具体化できていない場合、利用上の問題点が十分発見できないこともある。
手順2. 評価実施計画の立案
目標とするUXに照らしてどのレベルまで達成していたら良いかをあらかじめ検討しておくために事前に評価実施計画を立案する。このとき合わせてUXメトリクスとして評価尺度と評価指標を設定する。UXメトリクスというUX評価に関する研究は発展途上のため的確に評価・測定できない場合があるかもしれないことは考慮のうちにおいておかなければならない。ただ、評価尺度や評価指標は可能な限り明確にしておく必要があるため行うのが良く尺度を測定するためには一般的に用いられている。実施計画は下記題目に沿ってまとめると良い。
＜評価実施計画＞
- 評価の関心事と評価の観点
- 評価方法の選定とその理由
- 評価者（協力ユーザー）の設定
- 評価者のサンプリング方法
- 評価者の属性等
- 想定する利用文脈と評価タスクおよび提示するシナリオ
- 評価する実装レベルのプロトタイプの状態と評価範囲
- 評価実施日、実施環境等
＜UXメトリクス＞
- UX評価の指標および測定方法の設定
- UX評価の基準および目標値の設定
手順3. 分析
評価を分析し、その問題点がサービス全体のUX評価に及ぼす深刻度を分析するインパクト分析を行い、優先度を判断した上で必要に応じて問題点の修正・改善を行う。修正・改善を行なった場合には必要に応じて再度評価を行う。評価結果、分析結果については下記を参考にまとめる。
- UXメトリクスによる結果
- 問題点および原因分析
- 問題点の優先度・インパクト分析
- 改善の方向性・改善案
- 企画書の想定するUXの実現度に関する分析者の所感
- 開発終了判断への示唆
手順4. デザイン開発を終了する判断
ここまでの評価結果をプロジェクトの関係者に共有し、デザイン開発を終了するかの判断を行う。ここで重要なことはここでの判断は提供するUXが十分なものかに基づいて行うことだ。UX評価が低い、その完成度が下限に満たない場合などは必要に応じた段階に戻ることが望ましいかもしれない。例えリリース予定が迫っていてもブランドイメージを傷つけてしまうリスクがある場合などリリースを延長するという判断も必要である。
修正すると判断された場合においては、問題点に優先順位をつけどの問題から対処していくかを検討することが重要である。
手法
実践的な評価手法
- ユーザービリティテスト（代表的）
- ISO 25062 CIF に基づくユーザービリティテスト
実験的評価の結果分析の手法
- 発話思考法によるプロトコル分析
- NEM（Novice Export Ratio）
自己申告型の評価手法
一般的に実験的な評価手法と組み合わせて用いる。評価尺度についてはアンケートのように質問紙で把握するがこれは学術的に主観的な評価を適切に計測できることが確認されている。
＜主観的なユーザビリティ評価尺度＞
- SUS
- QUIS
＜UX評価尺度＞
- UX評価尺度
- AttrakDiff（UX印象評価尺度）
＜問題点の優先度づけ手法＞
- インパクト分析（代表的手法）
協力者への倫理的配慮
ユーザー参加による評価を行う際には、協力者への配慮が必要であり参加するメンバー全員が心得ておくべきことである。協力者は初めての場所で初めてのものを触りそれを人に見られるという行為をかせられるがストレスの高いことであることと承知しておかなければならない。
また、ユーザーが操作方法を理解できない、覚えられない場合それは全てデザインに原因がある。これに関してはD.A. ノーマンによる『誰のためのデザイン？』を読むことをお薦めする。安全と人権、プライバシーを侵害しないために言葉一つ一つにも細心の注意を払うべきである。
テストを行う正当性や計画の妥当性を社会に対して説明できなくてはならないといった説明責任や、テストの内容について事前に十分説明を行い、理解を得た上で文書での同意を得ておかなければならないといったインフォームドコンセントなど様々な配慮する点がある。これについては人間生活工学研究センターが定めた原則を参照すると良い。
こうした倫理的配慮を行うこと、それをメンバーで共通認識として持ってもらう事もプロジェクトをリードするUXデザイナーに課せられた重要なタスクの一つである。