评估

基础知识

评估是系统化的数据搜集过程。目的是了解用户或用户组在特定环境中,使用产品执行特定任务的情况。评估目的不是理解用户,而是看用户在特定环境中如何使用系统来执行特定任务。

评估目标:评估系统功能的范围和可达性,评估交互用户的体验。确定系统的某些特定问题。

评估原则

  1. 评估应该依赖于产品的用户

  2. 评估与设计应结合进行

  3. 评估应在用户的实际工作任务和操作环境下进行

  4. 要选择有广泛代表性的用户

评估范型

  • 快速评估。设计人员非正式地向用户或顾问了解反馈信息。

  • 可用性测试。评测典型用户执行典型任务时的情况。

  • 实地研究。在自然工作环境中进行。理解用户的实际工作情形以及技术对他们的影响。

  • 预测性评估。专家根据自己对典型用户的了解预测可用性问题。特点是用户不在场,快速低成本。

评估技术

  • 观察用户。问题是如何在不干扰用户的前提下观察用户,如何分析大量数据。

  • 询问用户意见。简单,调查用户数量从几个到几百不等。

  • 询问专家意见。“角色扮演”方式评估,专家会提出解决方案。

  • 测试用户的执行情况,可以比较不同设计方案的优劣。受控环境中进行。

  • 基于模型和理论,预测界面的有效性。比如GOMS和KLM模型

评估技术具体还有:

  1. 启发式评估

  2. 绩效度量

  3. 边做边说

  4. 观察

  5. 问卷调查

  6. 访谈

  7. 焦点小组

  8. 使用过程记录用户反馈

也可以用上面的评估技术进行组合。

观察用户

适用于产品开发的任何阶段。

观察方式

  1. 真实环境中的观察:观察者也可以作为参与者。重点是研究应用的上下文。

  2. 受控环境中的观察:观察者不能作为参与者。重点是研究用户执行任务的细节。

直接观察:

  • 实验室观察。提供试验室环境对用户进行观察.

  • 现场观察。在用户实际环境中观察用户在使用软件时的情况。比如超时收银系统。

间接观察:日志和交互记录。

合作评估。两位用户共同合作,以便他们互相讨论,相互帮助。尤其适合评估面向儿童的系统,和多人共享系统。

注意事项:观察人员尽量避免打扰用户,询问和记录用户莫名其妙的操作,初期应拒绝用户求助。观察可以和访谈结合。

收集数据:数据记录,音视频记录,日志和交互记录。用户的情感反应也应该尽量记录。

数据分析

  • 定性分析。内容分析:用于详细分析录像数据。会话分析,用来增进对用户需要的理解。话语分析,关注话语的使用而不是内容。

  • 定量分析。平均值、标准偏差、T检验

用户测试

DECIDE评估框架

  1. 决定评估需要完成的总体目标。例如为儿童设计产品时,要使产品更吸引人

  2. 发掘需要回答的具体问题。根据目标找到问题,例如为什么客户宁愿去柜台买纸质机票也不通过互联网买电子机票

  3. 选择用户回答具体问题的评估范型和技术。范型决定了技术类型,可以结合多种技术,有助于了解设计的不同方面。

  4. 标识必须解决的实际问题,如测试用户的选择。明确实际问题,例如选择谁做用户,任务时间、预算和设备等。

  5. 决定如何处理有关道德的问题。保护个人隐私,给用户提出指导原则。对测试过程提出要求,例如边做边说。

  6. 评估解释并表示数据。判断数据是否可靠、有效、有偏见,是否有普遍性。

测试设计

  1. 定义目标和问题

  2. 选择参与者 5-12 顺序效应等。

  3. 设计测试任务 5-20分钟

  4. 明确测试步骤

  5. 数据搜集

最后更新于