代表的なユーザ視点での評価手法と特徴

JIDA「プロダクトデザイン」編集委員会「プロダクトデザイン 商品開発に関わるすべての人へ」ワークスコーポレーションのp159に、デザイン評価の概要についていい表があったので引用したいと思います。

インスペクション法（専門家による評価）

• チェックリストによる評価
  • 概要：評価項目の一覧表をつくり、それぞれの項目について専門家などが評価をする方法
  • 長所：網羅的に評価できる
  • 短所：評価項目にないものは評価できない
• ヒューリスティック評価
  • 概要：プロトタイプなどが問題ないかどうかを専門家の経験則にもとづいて評価する方法
  • 長所：効率的に問題点を収集できる
  • 短所：評価者の経験に左右される
• 認知的ウォークスルー法
  • 概要：ユーザの認知過程を専門家がひとつひとつたどることにより問題点を発見する方法
  • 長所：網羅的に評価ができる、問題点の原因の分析ができる
  • 短所：評価者の専門性が要求される

チェックリストのアンケート調査は自由記述の逆ですね。チェックリストは、後で統計的な処理がしやすい代わりに、何かをとりこぼすことになる（完全に要素を網羅するのは専門家とは言え大変難しいですからね）。一方で自由記述は、細かいことを言えば回答者の顕在意識内という限定はあるにせよ基本的にとりこぼすことはないですが、その代わりに統計的に扱いにくい。チェックリストを作るときに一番いいのは、一回自由記述でアンケートを行った後に、その結果を踏まえて項目を作るというのがいいのですが、実際はさまざまな制約でこんなことはできないというのが実情でしょう。
後の2つは、そもそもこれができる専門家を集めるのがまず大変です。アカデミアでは内部の同業研究者を集めればできなくはないですが、多くの場合それは組織内の同僚や上司・部下であり、対象とする研究をある程度は知っている状態の人がほとんどです。そうなってくると評価対象によっては偏見が生じる可能性があります。自分ひとりで項目をピックアップするよりははるかにいいですが、このあたりのバランスは難しいところです。

実験室でのユーザによる評価

• ユーザビリティテスト
  • 概要：ユーザに専用ルームにて課題を行ってもらい、その様子を観察して評価する方法
  • 長所：少数の参加者でも多くの課題やアイデアを発掘できる、ユーザの思考過程を知ることができる
  • 短所：網羅的な評価はできない
• パフォーマンス評価
  • 概要：ユーザが目的を達成するまでの時間、タスクやエラーの回数などで評価する定量的な手法
  • 長所：定量的に比較、判断できる、統計的な検定が可能である
  • 短所：参加者の感覚的な側面は評価できない
• 印象性評価
  • 概要：ユーザに視覚的な資料を見てもらい、SD法などを活用してデザインイメージなどを評価する方法
  • 長所：定量的に印象やイメージを判断できる
  • 短所：参加者の個人差が大きい

このあたりの手法が、実際に実験研究で使われるものです。一般の人を被験者とするので人数を稼げ、統計的結果、もとい数値的結果を手に入れられるので研究者としては大変重宝します。しかし、数値データは後で多面的に分析ができたほうがいいので、データの取り方は実験の前に十分に検討する必要がありますから油断できません。特にSD法などを用いた印象性評価は、アンケート項目の書き方や順番も結果を左右しますので注意してください。

現場でのユーザによる評価

• 短期間の現場でのユーザ評価
  • 概要：ユーザに実際の使用環境にて課題を行ってもらい、その様子を観察して評価する方法
  • 長所：実際の使用環境に近い評価ができる、参加者がリラックスできる
  • 短所：準備や評価に手間がかかる
• 長期モニタリング評価
  • 概要：ユーザに長期的に商品やプロトタイプを使ってもらって評価する方法
  • 長所：長期的に実際の使用状況での評価ができる
  • 短所：準備や評価に手間がかかる

実際の生の声が聞ける評価方法ですが、とにかくコストがかかります。幸運にもこのような調査ができる機会があったら是非ものにしましょう。

「プロダクトデザイン 商品開発に関わるすべての人へ」にはこれらの手法について書いてあるページもありますので、是非一度読んでみてください。

プロダクトデザイン 商品開発に関わるすべての人へ